🎓 Phase 4 アンサンブル学習（ドメイン目次）
Phase 4 アンサンブル学習 目次
単体では弱い・不安定な学習器（とくに決定木）を多数束ねて、1つよりも高精度で安定した予測器を作るのがアンサンブル学習です。考え方は大きく二本柱に分かれます。
- バギング系（並列・脱相関）：少しずつ違う学習器を独立に作って平均／多数決し、バリアンスを下げる（ランダムフォレストが代表）
- ブースティング系（逐次・誤り補正）：弱学習器を順番に足し、前の誤りを次が補正してバイアスを下げる（AdaBoost・勾配ブースティング・XGBoost／LightGBM）
それぞれが汎化と過学習・バイアスバリアンス分解のどちら側を主に削るのかを意識すると、手法の違いが一本の軸で見通せます。
- 前提：決定木（部品となる弱学習器）・汎化と過学習・バイアスバリアンス分解（なぜ効くかの土台）
- この後の土台：勾配ブースティングは最適化（関数空間の勾配降下）に繋がり、実務では表形式データの定番手法になります
トピック一覧
- アンサンブルの原理（標準）— なぜ束ねると効くか・バイアス／バリアンスのどちらを削るか
- バギングとランダムフォレスト（標準）— ブートストラップ・OOB誤差・特徴量のランダム化による脱相関
- ブースティングとAdaBoost（標準）— 加法モデル・指数損失・誤りへの重み付け
- 勾配ブースティング（発展）— 残差を学習する加法モデル・関数空間の勾配降下
- XGBoostとLightGBM（標準）— 2次近似・正則化・ヒストグラム法など実務の定番
- スタッキング（標準）— メタ学習器で異種モデルを統合する
関連ドメイン
- 教師あり学習・分類 目次（部品となる決定木はこちら）・教師なし学習 目次
- 機械学習テキスト 全体目次