Генератор матриц ошибок

Что показывает матрица ошибок (Confusion Matrix)?

Матрица ошибок сопоставляет истинные классы с предсказанными моделями машинного обучения, позволяя детально проанализировать характер ошибок классификации вместо использования одной усредненной метрики точности (Accuracy). На главной диагонали отображаются верные предсказания, во внедиагональных ячейках — случаи, когда модель путает классы.

Требования к данным для генератора матрицы ошибок

• Загрузите пообъектные столбцы истинных (actual) и предсказанных (predicted) меток классов либо готовую квадратную таблицу сопряженности с частотами.
• Используйте идентичные названия классов и одинаковый порядок их следования для строк и столбцов.
• Добавляйте веса объектов только в том случае, если это предусмотрено протоколом валидации.
• Укажите, что именно отображают ячейки: абсолютные частоты, проценты по строкам, проценты по столбцам или доли от общего объема выборки.

Примеры применения матрицы ошибок в научных работах

• Пример бинарной матрицы ошибок
• Многоклассовая матрица ошибок
• Нормированная матрица ошибок
• Тепловая карта матрицы ошибок
• Матрица ошибок модели машинного обучения
• Матрица с точностью и полнотой

Зачем нужна матрица ошибок при оценке моделей?

• Локализация классов, вносящих наибольший вклад в ошибки первого (False Positives) и второго (False Negatives) рода.
• Выявление ложновысокой общей точности (Accuracy), скрывающей неудовлетворительную работу модели на миноритарных классах.
• Возможность быстрого переключения между абсолютными значениями и нормированными показателями по классам.
• Создание воспроизводимых графиков оценки качества моделей непосредственно из файлов предсказаний.

Как пользоваться Генератор матриц ошибок

Выберите пример или загрузите один файл CSV, TSV, TXT, XLSX либо XLS. Проверьте распознанные столбцы, создайте график и отредактируйте его в SciVis. Для Excel используется первый лист.

Элементы корректной матрицы ошибок

• Четко размеченные оси: истинные классы (Actual) и предсказанные классы (Predicted).
• Единый порядок отображения классов по обеим осям.
• Числовые значения внутри ячеек в сочетании с контрастной последовательной цветовой шкалой.
• Подпись к графику с указанием объема тестовой выборки, метода нормировки и ключевых метрик.

Матрица ошибок или ROC-кривая?

Матрица ошибок используется для детального анализа результатов классификации при фиксированном пороге принятия решения. ROC-кривая (или Precision-Recall кривая) оценивает качество модели в континууме порогов. Для несбалансированных выборок Precision-Recall кривая часто более информативна, чем ROC-анализ.