Оценка достоверности предсказаний гадалок

Вопрос о достоверности предсказаний гадалок волнует как любителей эзотерики, так и ученых, занимающихся статистикой и машинным обучением. Чтобы объективно посчитать, насколько «загадочный» гадатель действительно угадывает события, необходимо применить проверенные методы оценки качества предсказаний, которые использует современная наука: метрики точности, полноты, F1‑счётка, ROC‑кривая, логарифмическая потеря и т.д. Ниже приведено пошаговое руководство по сбору данных, выбору подходящих метрик и их расчёту.

Что считается «предсказанием» гадалки?

• Классификационные предсказания – «да/нет», «позитив/негатив», «будет ли свадьба в 2026 году».
• Регрессионные предсказания – число дней до события, вероятность в процентах.
• Рекомендательные предсказания – список действий, которые стоит предпринять.

Для каждой из этих задач применяются разные метрики. Ниже рассматриваются основные типы.

Метрики оценки классификационных предсказаний

Точность (Accuracy)

Точность измеряет долю правильно предсказанных случаев:

accuracy = (TP + TN) / (TP + TN + FP + FN)

где TP – истинно положительные, TN – истинно отрицательные, FP – ложноположительные, FN – ложноотрицательные.

Полнота (Recall) и Точность (Precision)

• Полнота (Recall) = TP / (TP + FN)
• Точность (Precision) = TP / (TP + FP)

Полнота показывает, насколько хорошо гадалка находит все «положительные» события, а точность – насколько её «положительные» предсказания действительно верны.

F1‑счётчик

Среднее гармоническое между точностью и полнотой:

F1 = 2 * (precision * recall) / (precision + recall)

Полезен, когда нужно сбалансировать обе метрики.

ROC‑кривая и AUC

Если гадалка выдаёт не только «да/нет», но и вероятность события (например, 0,8), можно построить ROC‑кривую. AUC (Area Under Curve) измеряет способность модели различать классы.

Log‑Loss и Brier Score

Для оценивания вероятностных предсказаний используют:

• Log‑Loss – штраф за несовпадение предсказанной вероятности и фактического результата.
• Brier Score – среднеквадратичная ошибка между предсказанными вероятностями и фактическим исходом.

Метрики для регрессионных предсказаний

• Mean Squared Error (MSE) – средняя квадратическая ошибка.
• Mean Absolute Error (MAE) – средняя абсолютная ошибка.
• R² (коэффициент детерминации) – доля дисперсии, объяснённой моделью.

Методы сбора и подготовки данных

1. Сбор исторических предсказаний – записывайте каждое предсказание гадалки, дату, контекст и ожидаемый исход.
2. Проверка фактического исхода – после события фиксируйте, произошло ли оно.
3. Кодирование категорий – преобразуйте предсказания и факты в бинарные (1/0) или категориальные коды.
4. Разделение на обучающую и тестовую выборки – обычно 70/30 или 80/20, чтобы оценить обобщающую способность.
5. Кросс‑валидация (K‑fold) – повторяйте оценку на разных подмножествах, чтобы получить более надёжные метрики.

Пошаговый процесс оценки

1. Соберите таблицу предсказание, фактический исход, дата.
2. Разделите данные: X_train, X_test, y_train, y_test.
3. Если гадалка выдаёт вероятности, сохраните их в отдельном столбце.
4. Вычислите метрики:

from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, confusion_matrix, log_loss, brier_score_loss

accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)
cm = confusion_matrix(y_test, y_pred)

logloss = log_loss(y_test, y_pred_proba)
brier = brier_score_loss(y_test, y_pred_proba)

5. Сравните полученные значения с контрольными (baseline) – например, случайный угадыватель, всегда говорящий «да».
6. Проверьте статистическую значимость (t‑test, bootstrap) для уверенности в результатах.

Пример расчёта метрик для гадалки

Допустим, у нас есть 100 предсказаний гадалки о том, «попадёт ли клиент в 2026‑й год на работу»:

После подсчёта получаем: Accuracy = 0.68, Precision = 0.72, Recall = 0.63, F1 = 0.67. Если baseline (случайный угадыватель) имеет Accuracy 0.5, то гадалка демонстрирует улучшение.

Ограничения и потенциальные ошибки

• Подтверждающий предвзятость (confirmation bias) – склонность записывать только совпадения.
• Селективное хранение данных – игнорирование «неудачных» предсказаний.
• Небольшой объём выборки – приводит к высокой дисперсии метрик.
• Вариативность интерпретации предсказаний – важно чётко формулировать категориальные ответы.
• Несоответствие временных рамок – предсказание в 2026‑й год проверяется только после 2026‑й.

Оценка точности предсказаний гадалки – это задача, аналогичная оценке моделей машинного обучения. Ключевым моментом является:

• Надёжный сбор данных о предсказаниях и фактических исходах.
• Чёткое определение классов и перевод предсказаний в количественные метки.
• Выбор подходящих метрик (accuracy, precision, recall, F1, ROC‑AUC, log‑loss, Brier).
• Проверка результатов на независимом тестовом наборе и с помощью кросс‑валидации.
• Сравнение с baseline и оценка статистической значимости.

Таким образом, применяя проверенные статистические методы, можно объективно судить о реальной «точности» гадалки и отличить «настоящую» интуицию от простых совпадений.