GBDT(勾配ブースティング決定木)は、与えられたデータセットで学習を行い、特徴量を元に予測を行う教師あり学習の機械学習手法の一つです.通常の決定木を複数使って組み合わせるアンサンブル学習手法の一つであるブースティングを行うことで精度を向上させています. Kaggleなどで非常によく使われる手法で、このGBDTを高速化し発展させて、XG-boostやlighgbmが実装されています.

できることは、数値やカテゴリを複数持つデータを入力として数値またはカテゴリを予測することです.データ分析コンペであるカグルでも多くの場面で活用されています.

今回は2-3-4木 を13分で紹介します.

ThothChildrenは数分でアルゴリズムのポイントをわかりやすく簡単に理解できること、メリットデメリットの把握を目指した解説を投稿する動画チャンネルです.

技術学術集積所 : ThothChildrenVideo
アニメーションを目で見て理解するアルゴリズム
http://www.thothchildren.com/visalgo/

参考:

【数分解説】レーベンバーグ・マーカート法 : 非線形な式を扱う場合でも関数の極小値を高速に求めたい:関数フィッティングなどに応用【Levenberg–Marquardt algorithm】
   • 【数分解説】レーベンバーグ・マーカート法  : 非線形な式を扱う場合でも関...  

【数分解説】ガウス・ニュートン法 : 非線形な式を扱う場合でも関数の極小値を高速に求めたい:関数フィッティングなどに応用【Gauss Newton Method】
   • 【数分解説】ガウス・ニュートン法  : 非線形な式を扱う場合でも関数の極小...  

【数分解説】ニュートン法による最適化 : 非線形な式を扱う場合でも関数の極小値を求めたい:関数フィッティングなどに応用【Newton Methods】
   • 【数分解説】ニュートン法による最適化  : 非線形な式を扱う場合でも関数の...  

【数分解説】拡張カルマンフィルタ : 非線形でもノイズを考慮してリアルタイムに直接観測できない状態を推定したい【Extended Kalman FIlter】
   • 【数分解説】拡張カルマンフィルタ  : 非線形でもノイズを考慮してリアルタ...  

【数分解説】カルマンフィルタ : ノイズを考慮してリアルタイムに直接観測できない状態を推定したい【Kalman FIlter】
   • 【数分解説】カルマンフィルタ  : ノイズを考慮してリアルタイムに直接観測...  

【数分解説】ベイズ更新 : データを受けて確率を逐次的に更新して推定したい
   • 【数分解説】ベイズ更新 : データを受けて確率を逐次的に更新して推定したい  

ThothChildren
http://www.thothchildren.com/top?page=1

まとめ:
G B D Tのまとめです.

G B D Tは手軽に精度よく特徴量から予測値を計算する手法になります.

メリットは、精度の高さ、特徴量の確認が可能であることなどが挙げられます.

処理としては、ブースティングによって決定木を直列に繋げ、ひとつ前までの合計値で計算される予測値と正解の誤差を次に学習するようにして、バイアスを改善していきます.

以上でG B D Tの解説を終了します.