外れ値に関するDixon 検定

検定の原理

実際には,選ばれる統計量と識別する外れ値の数によって6つの検定に区分される Dixon 検定 (1950, 1951, 1953)は,標本の最も高い値または最も低い値,または2個の最も高い値,2個の最も低い値が外れ値とみなされるか否かを判定することを助けるために開発された. この検定は,データが正規分布に従う集団から抽出されたことを仮定する.

外れ値の検出

統計学では, 外れ値とは任意の変数について記録された値で,他の値よりも並はずれて疑わしく低いか高いと見られる値である.2種類の外れ値を区別することができる:

  • 外れ値は,単純に(計測器での)読み取り誤差,(キーボード)記録誤差,または観察された現象を他と比較にならないようにかく乱した特別なイベントによるものであリ得る.このような場合,もし可能であれば,外れ値を訂正するか,さもなくば,それが計画された分析(記述分析,モデリング,予測)をかく乱するのを避けるために除去しなければならない.
  • また,外れ値は,特殊なイベントに起因する場合があるが,しかし,それでも既知であるか,調査することが興味深い場合がある.たとえば,川の水で特定のバクテリアの存在を調査している場合,バクテリアのない標本やたくさんのバクテリアを持つ標本があるかもしれない.もちろん,これらのデータは,保持することが重要である.使用するモデルは,潜在的なバラツキを反映するべきである.

データ中に外れ値がある場合,調査のステージによって, 我々は,できる限り検定を用いて,レポート中でそれらを(表またはグラフィカルな表現で)フラグづけし,削除するか,それらを取り扱える手法を用いるなどして識別しなければならない.

外れ値を識別するには,さまざまなアプローチがある.たとえば,伝統的な線形回帰では,Cookの d 値を使用するか,あるいは,1つまたは2つの値が異常であるかどうかを見るために,Grubbs 検定で標準化残差を検証することができる.伝統的な Grubbs 検定は,1個の外れ値の識別をサポートするが,ダブル Grubbs 検定は,2個識別することができる.同じ標本でこれらを繰り返し使用することは推奨されていない.しかしながら,2個を超える外れ値があると本当に疑わしいなら適切な場合もある.

Dixon 検定のための臨界値とp値

文献は,任意の有意水準で,帰無仮説を保持できなくなる臨界値のおおよそ正確な近似を提供している.しかしながら,XLSTAT は,モンテ・カルロ・シュミレーションに基づく臨界値の近似を提供する.これらの近似の数は,デフォルトでいくつかは1000000に設定されており, 昔の論文で提供されているのよりも高い信頼性を提供している.またXLSTAT はこれらのシミュレーションの基盤の上で,p値やユーザーが選んだ有意水準に基づく検定の結論を提供する.

XLSTATによる結果

そして,Dixon 検定に対応する結果が表示される.単一の繰り返しがリクエストされるか,外れ値として識別されたオブザベーションがない場合は,検定の解釈が提供される.
複数の繰り返しがリクエストされた場合は,各オブザベーションについて, それが標本から除去された繰り返しを示す表も表示される.

リクエストされた場合は,z-スコアが表示される.

参考文献

Barnett V. and Lewis T. (1980). Outliers in Statistical Data. John Wiley and Sons, Chichester, New York, Brisbane, Toronto.

Dixon W.J. (1950). Analysis of extreme values. Annals of Math. Stat., 21, 488-506.

Dixon W.J. (1951). Ratios involving of extreme values. Annals of Math. Stat., 22, 68-78.

Dixon W.J. (1953). Processing data for outliers. J. Biometrics, 9, 74-89.

Hawkins D.M. (1980). Identification of Outliers. Chapman and Hall, London.

International Organization for Standardization (1994). ISO 5725-2: Accuracy (trueness and precision) of measurement methods and results—Part 2: Basic method for the determination of repeatability and reproducibility of a standard measurement method, Geneva.