Extreme Gradient Boosting (XGBOOST)

XGBOOSTは「Extreme Gradient Boosting」の略で、学習データを使って目標・反応変数を予測する教師あり学習問題に使われる機械学習モデルである。

XGBOOSTとは?

XGBOOSTは「Extreme Gradient Boosting」の略で、教師あり学習で採用される機械学習モデルであり、学習データを用いて目標/応答変数を予測する。

質的・量的変数で記述されたサンプルに対して、分類や回帰モデルを適用する際にこの手法を選択する。この方法は、多数の変数を持つ大規模なデータセットを効率的に処理します。

  • 分類(質的応答変数): このモデルは,量的および/または質的変数である説明変数に基づいて,各オブザベーションが属するクラスを予測することができる.

  • 回帰(連続応答変数): このモデルは,量的および/または質的説明変数に基づく量的応答変数の予測モデルを構築することを可能にする.

XGBOOSTの原理は何ですか?

機械学習モデルは、個々にデータに適合させることも、他のモデルと組み合わせてアンサンブルを作成することもできる。アンサンブルとは、単純な個々のモデルを組み合わせて、より強力なモデルを作成することです。

機械学習ブースティングは、このようなアンサンブルを作成する手法である。まず、初期モデル(この例では回帰または分類木)をデータに当てはめる。次に、最初のモデルがうまく予測できなかった観測値を正確に予測することに重点を置いた、2番目のモデルを構築する。これら2つのモデルの組み合わせは、それぞれのモデルよりも優れていることが期待される。このブースティングのプロセスは数回繰り返され、それぞれのモデルは、以前のすべてのモデルを含むブーストされたアンサンブルの欠点を修正しようとする。

勾配ブースティング

勾配ブースティングは機械学習のブースティングの一種である。前のモデルと組み合わせたときに、最適な次のモデルが全体の予測誤差を最小にするという直感に基づく。重要な考え方は、この次のモデルに対して、誤差を最小にするために各観測の重みを設定することである。これは次のように計算される。

各ブースティングステップで、各オブザベーションに対して、モデルの予測誤差に基づいてスコアが計算されます。

勾配ブースティングという名前は、各重みが予測に対する誤差の勾配に基づいて設定されるという事実から生じています。それぞれの新しいモデルは、各オブザベーションの可能な予測の空間において、予測誤差を最小化する方向に一歩を踏み出す。

ternary diagramneural network diagram

Excelで動作する統計解析ソフトウェア。

14日間無償トライアルあり。