Генератор калибровочных графиков модели

Что показывает график калибровки модели (Calibration Plot)?

График калибровки сопоставляет предсказанные моделью вероятности с фактической частотой наступления целевого события. Идеально откалиброванная модель строго следует диагональной линии идентичности; систематические отклонения указывают на недооценку или переоценку рисков моделью, даже если метрики разделения (например, AUC-ROC) высоки.

Требования к данным для графика калибровки

• Для каждой записи необходимы предсказанная вероятность (значение от 0 до 1) и фактический бинарный исход (0 или 1).
• Добавьте необязательный столбец с названием модели, когорты или подгруппы для сравнительного анализа.
• Используйте данные независимой тестовой или валидационной выборки, не участвовавшей в обучении.
• При загрузке предварительно сгруппированных данных укажите среднюю предсказанную вероятность, наблюдаемую долю событий и объем выборки в каждом интервале (бине).

Примеры применения графиков калибровки в научных исследованиях

• Диаграмма надежности клинического риска
• Калибровка бинарного классификатора
• Кривая со значением Brier
• Калибровка модели машинного обучения
• Сравнение калибровки моделей
• Калибровка вероятности отказа

Зачем оценивать калибровку прогностических моделей?

• Проверка соответствия заявленного риска (например, 20%) реальной частоте событий (около 20 случаев на 100 аналогичных пациентов).
• Выявление моделей, которые хорошо ранжируют объекты, но выдают недостоверные абсолютные значения вероятностей.
• Сравнение качества работы модели на внутренней, временной и внешней валидационных когортах.
• Наглядная демонстрация неопределенности прогнозов перед внедрением модели в клиническую или производственную практику.

Как пользоваться Генератор калибровочных графиков модели

Выберите пример или загрузите один файл CSV, TSV, TXT, XLSX либо XLS. Проверьте распознанные столбцы, создайте график и отредактируйте его в SciVis. Для Excel используется первый лист.

Элементы корректного графика калибровки

• Предсказанная вероятность на оси X и наблюдаемая частота на оси Y.
• Диагональная опорная линия (под углом 45 градусов), обозначающая идеальную калибровку.
• Гистограмма распределения предсказаний (rug plot) для оценки плотности данных в разных диапазонах вероятностей.
• Доверительные интервалы или сглаживающие кривые с указанием статистических параметров.

График калибровки или ROC-кривая?

График калибровки оценивает числовую точность самих значений вероятностей. ROC-кривая оценивает способность модели ранжировать объекты по классам. Модель может обладать высоким показателем AUC-ROC, но при этом быть плохо откалиброванной, поэтому данные методы дополняют друг друга.