Gerador de gráficos de calibração

O que o Gerador de Gráfico de Calibração de Modelo demonstra?

O Gráfico de Calibração compara as probabilidades previstas por um modelo preditivo com as taxas de eventos reais observadas. Um modelo perfeitamente calibrado segue a linha de identidade (45 graus); desvios sistemáticos revelam subestimação ou superestimação de risco, mesmo quando as métricas de discriminação (como AUC) parecem excelentes.

Requisitos de dados para o Gráfico de Calibração

• Uma probabilidade prevista (entre 0 e 1) e um desfecho binário observado (0 ou 1) por caso.
• Coluna opcional para identificar modelo, coorte, partição (fold) ou subgrupo para fins de comparação.
• Uso de um conjunto de teste ou validação independente, isolado dos dados de treinamento.
• Caso envie dados pré-agrupados (binned), inclua a probabilidade média prevista, a proporção observada e o tamanho amostral de cada intervalo.

Exemplos de aplicação em pesquisa científica

• Diagrama de confiabilidade de risco clínico
• Calibração de classificador binário
• Curva com escore de Brier
• Calibração de modelo de aprendizado de máquina
• Comparação de calibração de modelos
• Calibração da probabilidade de falha

Por que examinar a calibração de um modelo?

• Verificar se um risco estimado de 20% corresponde de fato a aproximadamente 20 eventos em 100 casos semelhantes.
• Detectar modelos que ordenam bem os casos, mas geram probabilidades absolutas distorcidas.
• Comparar o desempenho do modelo entre coortes de validação interna, temporal e externa.
• Comunicar incertezas e regiões com escassez de dados antes da tomada de decisão clínica ou operacional.

Como usar Gerador de gráficos de calibração

Escolha um exemplo ou envie um arquivo CSV, TSV, TXT, XLSX ou XLS. Confira as colunas detectadas, gere o gráfico e edite no SciVis. No Excel, a primeira planilha é importada.

Elementos indispensáveis em um gráfico de calibração rigoroso

• Probabilidade prevista no eixo x e frequência observada no eixo y.
• Linha de referência de 45 graus representando a calibração ideal.
• Indicação da distribuição dos dados por meio de histogramas, contagem de intervalos ou rug plot.
• Intervalos de confiança ou curvas de suavização estatisticamente fundamentados.

Gráfico de calibração ou curva ROC?

O gráfico de calibração avalia se os valores de probabilidade previstos são numericamente confiáveis na escala real. A curva ROC avalia a capacidade de ordenação e discriminação do modelo em diferentes limiares. Um modelo pode apresentar um AUC alto e ainda assim estar mal calibrado; portanto, as duas figuras respondem a perguntas científicas distintas.