Самое главное помнить, что оценка точности гадания – это сочетание количественных и качественных показателей.
Невозможно судить только о «правильном» предсказании, не учитывая контекст, частоту ошибок и степень удовлетворённости клиентов.
Ниже приведён комплексный подход, который можно применить как в исследовательских проектах, так и в практической работе гадалки.
Количественные критерии (метрики точности)
- Средняя абсолютная ошибка (MAE) – среднее значение абсолютных отклонений факта от прогноза.
MAE = (|f1‑p1| + |f2‑p2| + … + |fn‑pn|) / n - Корень средней квадратичной ошибки (RMSE) – учитывает квадратичную величину ошибки, усиливая влияние больших отклонений.
RMSE = √[( (f1‑p1)² + (f2‑p2)² + … + (fn‑pn)² ) / n] - Коэффициент детерминации (R²) – мера того, насколько часть дисперсии фактических значений объясняется моделью.
R² = 1 – SSres / SStot, где SSres – сумма квадратов остатков, SStot – сумма квадратов отклонений от среднего. - F‑критерий (связанный с R²) – проверка статистической значимости модели по сравнению с нулевой моделью.
Высокое значение F и маленькое p‑значение подтверждают надёжность предсказаний.
Статистические критерии, применяемые в геодезии и маркшейдерии
- Средняя ошибка (ME) – среднее значение ошибок с учётом знака.
ME = (Σ(fi – pi)) / n - Среднеквадратическая ошибка (RMSE, как выше) – стандартное отклонение ошибок.
- Вероятная ошибка (PE) – 1.282 × σ, где σ – стандартное отклонение ошибок.
PE показывает диапазон, в котором находятся 95 % ошибок.
Критерии полноты и достоверности информации
- Коэффициент полноты (Recall) – доля действительно правдивых предсказаний из всех возможных.
- Коэффициент точности (Precision) – доля верных предсказаний из всех выполненных.
- Баланс (F1‑score) – гармоническое среднее между точностью и полнотой.
Качество речи и коммуникативные навыки (параллель OGE)
В оценке речи экзаменуемого применяются критерии грамотности (ГК) и фактической точности (ФК).
Та же идея применима и к гадалке:
- Грамотность высказываний – отсутствие орфографических и пунктуационных ошибок в тексте предсказания.
- Фактическая точность речи (ФК) – степень соответствия фактической информации, переданной клиенту, реальности.
- Объём и полнота изложения – важно, чтобы не было лишних деталей, но и не было пропущено существенного.
Практические шаги по сбору данных для оценки
- Создайте базу данных предсказаний: дату, тему, текст предсказания, фактическое событие.
- Соберите обратную связь от клиентов: шкала удовлетворённости, подтверждение совпадения, комментарии.
- Проведите статистический анализ: рассчитайте MAE, RMSE, R² и другие метрики;
- Проверьте репликацию: повторите предсказания на новых данных и сравните результаты.
- Проведите корреляционный анализ между качественными показателями (степень убедительности, эмоциональная окраска) и количественными метриками.
Пример расчёта метрик на простом наборе данных
Факты: 4 и 8.
Гадалка А: 2 и 10.
Гадалка Б: 3 и 7.
Для гадалки А:
- MAE = (|4‑2| + |8‑10|)/2 = (2 + 2)/2 = 2
- RMSE = √[( (4‑2)² + (8‑10)² )/2] = √[(4 + 4)/2] = √4 = 2
Для гадалки Б:
- MAE = (|4‑3| + |8‑7|)/2 = (1 + 1)/2 = 1
- RMSE = √[( (4‑3)² + (8‑7)² )/2] = √[(1 + 1)/2] = √1 = 1
Таким образом, несмотря на то, что «отношение факта к прогнозу» может казаться больше у одной модели, фактические метрики показывают, что гадалка Б более точна.
Для полноценной оценки точности гадалки необходимо:
- Собрать достаточный объём данных (не менее 30–50 предсказаний).
- Использовать как количественные метрики (MAE, RMSE, R²), так и качественные (корреляцию с клиентской удовлетворённостью).
- Проверять устойчивость модели (кросс‑валидация, повторные тесты).
- Проводить периодический пересмотр критериев в зависимости от сферы предсказаний (любовь, карьера, здоровье).
Таким образом, сочетание статистических показателей, оценки полноты информации и качества коммуникации позволяет объективно и всесторонне оценить точность работы гадалки.
Список критериев с описанием
- MAE – средняя абсолютная ошибка; измеряет общее отклонение предсказания от факта.
- RMSE – корень средней квадратичной ошибки; усиливает влияние крупных ошибок.
- R² – доля объяснённой дисперсии; чем ближе к 1, тем лучше модель.
- F‑критерий – статистическая значимость модели по сравнению с нулевой.
- PE (вероятная ошибка) – диапазон, в котором находятся 95 % ошибок.
- Точность речи (ГК) – отсутствие орфографических ошибок в тексте предсказания.
- Фактическая точность речи (ФК) – соответствие переданной информации реальности.
- Объём и полнота изложения – достаточность, но не избыточность информации.
- Коэффициент полноты (Recall) – доля действительно правдивых предсказаний.
- Коэффициент точности (Precision) – доля верных предсказаний из всех сделанных.
- Баланс (F1‑score) – гармоническое среднее между точностью и полнотой.
Используйте эту таблицу как чек‑лист при оценке любой гадалки, чтобы убедиться, что её работа отвечает высоким стандартам точности и надёжности.