🎓 Phase 6 最適化と学習理論（ドメイン目次）
Phase 6 最適化と学習理論 目次
ここまでの教師あり・教師なしの各手法は、結局「ある目的関数（損失・経験リスク）を最小化する」問題に落ちていました。Phase 6 はそのエンジンルームです。「学習をどう解くか（最適化）」と「なぜ解いた結果が新しいデータでも当たるのか（学習理論）」の2本柱を扱います。
- 最適化（どう解くか）：勾配降下法（バッチ/SGD/ミニバッチ）→ モーメンタムとAdam系最適化（適応的学習率）→ 凸最適化の基礎（凸性・KKT）
- 正則化（複雑さをどう抑えるか）：正則化の理論（L1/L2・早期終了・MAP を一本の理論で見る）
- 汎化理論（なぜ当たるのか）：汎化理論（VC次元・PAC学習・汎化バウンド）
- 実務のチューニング：ハイパーパラメータ最適化（グリッド/ランダム/ベイズ最適化）
このドメインは、Phase 7 以降の深層学習の土台です。ニューラルネットの学習は結局この勾配降下＋正則化で回るので、深層に入る前に 勾配降下法・モーメンタムとAdam系最適化 を押さえるのが効きます。
- 前提：学習問題の定式化（仮説・損失・経験リスク）（経験リスク最小化＝ERM）・汎化と過学習・バイアスバリアンス分解（理論が答える問い）・線形回帰（最小二乗法と確率的解釈）（最小二乗という最適化の原型）
- 統計の土台：正則化のベイズ的解釈は統計サイトのベイズ推定・MAP推定（MAP）へ繋ぎます
トピック一覧
- 勾配降下法（基礎）— バッチ／確率的（SGD）／ミニバッチ勾配降下・学習率と収束
- モーメンタムとAdam系最適化（標準）— モーメンタム・RMSProp・Adam の適応的学習率
- 凸最適化の基礎（発展）— 凸関数・凸集合・ラグランジュ双対・KKT条件
- 正則化の理論（発展）— L1／L2 の幾何・早期終了・MAP 推定との等価性
- 汎化理論（発展）— VC次元・PAC学習・汎化バウンドで「なぜ学習できるか」を測る
- ハイパーパラメータ最適化（標準）— グリッド／ランダム探索・ベイズ最適化
関連ドメイン
- 機械学習の基礎枠組み 目次（ERM・汎化という問いの出発点）
- 教師あり学習・回帰 目次（最小二乗・正則化（Ridge・Lasso・Elastic Net） の実践）
- ニューラルネットワーク 目次（この最適化が深層学習の学習エンジンになる）
- 統計サイト：ベイズ推定・MAP推定・事前分布・事後分布・ベイズ更新
- 機械学習テキスト 全体目次