ROC 曲線

XLSTAT ソフトウェアで生成されるROC曲線は，偽陽性ケースの割合（1マイナス特異度に対応）の関数として真陽性ケースの割合（感度ともいう）の変化を表現し，病気の診断のためのテストのようなバイナリ分類器を評価すること，または製造された製品での欠陥の存在を管理することを可能にする ．

ROC 曲線の定義

ROC曲線は，様々な可能なしきい値での複数の(1 – 特異度, 感度) のグラフィカル表現である．

いくつかの重要な定義がある：

• 感度 （Sensitivity，真陽性率に相当）： テストによって正しく検出された陽性ケースの比率．言い換えると，感度は陽性の個体で使用する場合に，テストがどれだけ効果的であるかを測定する．感度が 1のとき，陽性の個体ではテストは完全で，感度が0.5のとき，無作為抽出に相当する．. 0.5よりも下の場合，テストは反対に機能しており，感度が0.5より高くなるように，ルールを逆転させることが有用であろう（ただし，これが特異度には影響しないことが条件）． 数学的定義は，次式で与えられる：Sensitivity = TP/(TP + FN).
• 特異度 （Specificity ，真陰性率に相当）：テストによって正しく検出された陰性ケースの比率．言い換えると，特異度は陰性の個体で使用する場合に，テストがどれだけ効果的であるかを測定する．特異度が 1のとき，陰性の個体ではテストは完全で，特異度が0.5のとき，無作為抽出に相当する．0.5よりも下の場合，テストは反対に機能しており，特異度が 0.5より高くなるように，ルールを逆転させることが有用であろう（ ただし，これが感度に影響しないことが条件）．数学的定義は，次式で与えられる：Specificity = TN/(TN + FP)．

曲線の下部領域

 曲線の下部領域（AUC ：area under the curve）は，ROC曲線で計算された合成指標である．  AUC は，テストのすべての陽性値を与えて，テストが陽性のイベントを陽性と分類する確率である．理想モデルでは AUC = 1（上図の青線），ランダムなパターンでは AUC = 0.5 （上図の赤線）となる．通常， AUC が0.7より大きいと，良いモデルであるとみなされる．識別力の際立ったモデルは，0.87 から 0.9のAUCを持つべきである． 0.9 を超えるAUC を持つモデルは優秀である．

Sen (1960)，Bamber (1975) およびHanley とMcNeil (1982) は， AUCの分散を計算するさまざまな手法を提案した．XLSTATではすべて利用可能である．XLSTAT は，テストのAUC の0.5との比較も提供している． 0.5の値は，ランダム分類器に対応する． この検定は，AUC と 0.5 の差を3つの手法の1つによって計算された分散で割ったものに基づく．得られる統計量は，標準正規分布に従うことを仮定する．それによってp-値の計算を可能とする．

AUCは異なるテスト間の比較に使用することもできる．異なるテストが異なる個体のグループに適用された場合，標本は個別である．この場合， XLSTAT はAUCを比較するためにスチューデントの検定を用いる（これはAUCの正規性の仮定を必要とし，標本が小さすぎない場合は採用できる)．同じ個体に異なるテストが適用された場合は，標本は対応がある．この場合， XLSTAT は， Senの仕事 (1960)を土台としてDelong と Delong (1988)が説明したようにAUCの共分散行列を計算し， 2つの AUC間の差の分散を計算し，正規性を仮定して p-値を計算する．

XLSTATでのROC 分析の結果

 ROC と AUC 曲線に加えて，その他の結果が計算される．

ROC 分析

ROC 分析の表は，テスト変数の各陽性しきい値について，解説の節で説明するさまざまな指標を表示します．表の下部の線上に，しきい値と比較された陽性ケースを識別するために，ダイアログ・ボックスで設定したルールのメモがあります．表の下に，しきい値の値による TP, TN, FP, FN の変化を示す積み上げ棒グラフがあります．対応するオプションが有効にされた場合，ディシジョン・プロットが表示されます（たとえば，しきい値によりコストの変化）．

AUC と 0.5の比較

これらの結果は，テストとランダム分類器を資格できます．信頼区間はその差に対応します．そして，p-値，比較検定の解釈と続くさまざまな統計量が表示されます．.

AUCの比較

複数のテスト変数を選択した場合，各変数について上記の結果が表示されると， AUCの共分散行列，信頼区間を注釈するAUCの各対の差の表，そしてp-値の表と続く．太字の値は，有意な差に対応します．最後に， ROC 曲線を比較するグラフが表示されます．