machine learning // 統計の応用
機械学習テキスト
古典的機械学習から深層学習・生成モデル・強化学習・LLMまでを、12の概念ドメイン(Phase)で体系化した全87ノート。各トピックのレベル(基礎/標準/発展)は本文のバッジで示しています。数理的な土台は統計検定サイトへ相互リンクしています。
目次・インデックス
Phase 1 ── 機械学習の基礎枠組み
- 機械学習の基礎枠組み 目次
- 機械学習とは・3類型 基礎 必須
- 学習問題の定式化(仮説・損失・経験リスク) 標準 必須
- 汎化と過学習・バイアスバリアンス分解 標準 必須
- 訓練・検証・テストと交差検証 基礎 必須
- 評価指標(回帰) 基礎 必須
- 評価指標(分類)とROC・AUC 標準 必須
- 次元の呪い 標準
Phase 2 ── 教師あり学習:回帰
- 教師あり学習・回帰 目次
- 線形回帰(最小二乗法と確率的解釈) 基礎 必須
- 重回帰と多重共線性 標準 必須
- 正則化(Ridge・Lasso・Elastic Net) 標準 必須
- 多項式回帰と基底関数 標準
- バイアスバリアンスの実証 標準
Phase 3 ── 教師あり学習:分類
- 教師あり学習・分類 目次
- ロジスティック回帰 基礎 必須
- 判別分析(LDA・QDA) 標準
- k近傍法(k-NN) 基礎
- ナイーブベイズ 基礎
- サポートベクターマシン(SVM) 発展 必須
- 決定木 標準 必須
Phase 4 ── アンサンブル学習
- アンサンブル学習 目次
- アンサンブルの原理 標準 必須
- バギングとランダムフォレスト 標準 必須
- ブースティングとAdaBoost 標準 必須
- 勾配ブースティング 発展 必須
- XGBoostとLightGBM 標準
- スタッキング 標準
Phase 5 ── 教師なし学習
- 教師なし学習 目次
- k-meansクラスタリング 基礎 必須
- 階層的クラスタリング 標準
- 混合ガウスモデルとEM 発展 必須
- 主成分分析と次元削減 標準 必須
- カーネルPCAと多様体学習 発展
- 異常検知 標準
Phase 6 ── 最適化と学習理論
- 最適化と学習理論 目次
- 勾配降下法 基礎 必須
- モーメンタムとAdam系最適化 標準 必須
- 凸最適化の基礎 発展
- 正則化の理論 発展 必須
- 汎化理論 発展
- ハイパーパラメータ最適化 標準
Phase 7 ── ニューラルネットワーク基礎
- ニューラルネットワーク 目次
- パーセプトロンと多層パーセプトロン 基礎 必須
- 誤差逆伝播法 標準 必須
- 活性化関数 基礎 必須
- 重み初期化と正規化 標準
- ニューラルネットの正則化 標準
- 最適化の実務 標準
Phase 8 ── 深層学習アーキテクチャ
- 深層学習アーキテクチャ 目次
- 畳み込みニューラルネットワーク 標準 必須
- 代表的なCNNアーキテクチャ 標準
- 再帰型ニューラルネットワーク 標準 必須
- 注意機構 標準 必須
- Transformer 発展 必須
- 表現学習と埋め込み 標準
Phase 9 ── 生成モデル
- 生成モデル 目次
- 生成モデルとは 基礎 必須
- オートエンコーダとVAE 発展 必須
- 敵対的生成ネットワーク 発展 必須
- 自己回帰モデル 標準
- 拡散モデル 発展 必須
Phase 10 ── 強化学習
- 強化学習 目次
- マルコフ決定過程 標準 必須
- 価値関数とベルマン方程式 標準 必須
- Q学習とSARSA 標準 必須
- 方策勾配法 発展 必須
- Actor-Criticと深層強化学習 発展
Phase 11 ── 実践・MLOps
- 実践・MLOps 目次
- 特徴量エンジニアリングと前処理 基礎 必須
- 不均衡データの扱い 標準
- モデル解釈性 標準 必須
- 公平性とバイアス 標準
- 分布シフトと頑健性 発展
- MLOpsと実験管理 標準
Phase 12 ── 大規模言語モデル(LLM)
- 大規模言語モデル 目次
- LLMの全体像 基礎 必須
- 事前学習とスケーリング則 標準 必須
- ファインチューニング 標準 必須
- アラインメント 発展 必須
- プロンプティングとIn-context learning 基礎 必須
- 検索拡張生成 標準 必須
- 推論の実務 標準
- ツール使用とエージェント 発展
- 評価・ハルシネーション・安全性 標準