モデルキャリブレーションプロット作成ツール

キャリブレーションプロット（Model Calibration Plot）で可視化できること

キャリブレーションプロット（信頼性曲線）は、モデルが予測した確率と、実際に観測されたイベントの発生率を比較する手法です。適切に校正（キャリブレーション）されたモデルは対角線（y=x）に沿ってプロットされます。この線からの系統的な乖離を見ることで、モデルの識別能（AUCなど）が高くても、予測確率自体が過大評価または過小評価されていないかを検証できます。

キャリブレーションプロット作成に必要なデータ要件

• 1症例/サンプルにつき、0から1の範囲の「予測確率」と、2値（0または1）の「実測アウトカム」のペアを含めてください。
• 複数のモデル、コホート、クロスバリデーションのフォールド、またはサブグループを比較する場合は、識別用の列を追加してください。
• トレーニング（学習）データとは完全に独立した、テストデータまたは外部検証データセットを使用してください。
• すでにビン集計されたデータをアップロードする場合は、各ビンの平均予測確率、実際の発生割合、およびサンプルサイズを含めてください。

キャリブレーションプロットの学術・研究における活用例

• 臨床リスク予測の信頼度曲線
• 二値分類器の校正プロット
• Brier スコア付き確率校正曲線
• 機械学習モデルの校正曲線
• 複数モデルの校正比較
• 設備故障確率の校正

モデルのキャリブレーションを検証すべき理由

• モデルが「リスク20%」と予測した群において、実際に100人中約20人にイベントが発生しているか（絶対的な確率の正確性）を検証できます。
• 症例の順位付け（ランキング）は正しくても、出力される絶対確率の数値自体が不正確なモデルを検出できます。
• 内部検証、時間的検証、外部検証コホート間でのモデルの汎化性能を比較できます。
• 臨床応用や実務運用の前に、予測の不確実性やデータが希薄な確率領域を明示できます。

モデルキャリブレーションプロット作成ツール の使い方

例を選ぶか、CSV、TSV、TXT、XLSX、XLS のいずれか1ファイルをアップロードします。検出された列を確認して図を生成し、SciVis で編集します。Excel は先頭シートを使用します。

論文に耐えうるキャリブレーションプロットの必須要素

• x軸に「予測確率（Predicted Probability）」、y軸に「観測された頻度（Observed Frequency）」を配置。
• 理想的なキャリブレーションを示す45度の基準線（対角線）。
• 各領域のデータ密度を示すビンカウント、ラグプロット（Rug Plot）、またはヒストグラム。
• 統計的に妥当な範囲での信頼区間（CI）または平滑化スプラインの表示。

キャリブレーションプロットとROC曲線の使い分け

キャリブレーションプロットは、モデルが出力する確率値そのものが数値として信頼できるかを評価します。一方、ROC曲線は閾値を変化させたときの「順位付けの正確さ（識別能）」を評価します。AUCが非常に高くてもキャリブレーションが極めて悪いモデルが存在し得るため、これら2つの図は異なる問いに答えるものです。