← 機械学習テキスト 一覧

🎓 Phase 8 深層学習アーキテクチャ（ドメイン目次）

Phase 8 深層学習アーキテクチャ 目次

Phase 7 で組み立てた基本部品（MLP・誤差逆伝播・活性化・正規化）を、データの構造に合わせて特化させたのがこの Phase です。全結合だけでは効率が悪い「画像」「系列」を、専用の構造で捉えます。

• 空間（画像）：畳み込みニューラルネットワーク（局所性・重み共有）→ 代表的なCNNアーキテクチャ（ResNet 等）
• 系列（時系列・言語）：再帰型ニューラルネットワーク（RNN/LSTM/GRU）
• 注意の時代：注意機構（Q/K/V で「どこを見るか」）→ Transformer（自己注意だけで系列を捌く）
• 表現を学ぶ：表現学習と埋め込み（word2vec・転移学習）

この Phase の到達点 Transformer が、Phase 12 大規模言語モデル（LLM）の土台になります。

• 前提：誤差逆伝播法（学習の仕組み）・活性化関数（勾配消失）・重み初期化と正規化（LayerNorm 等）
• この後の土台：生成モデル（VAE/GAN/拡散）・LLM

トピック一覧

1. 畳み込みニューラルネットワーク（標準）— 畳み込み・プーリング・局所性と重み共有
2. 代表的なCNNアーキテクチャ（標準）— LeNet／AlexNet／VGG／ResNet・残差接続
3. 再帰型ニューラルネットワーク（標準）— RNN／LSTM／GRU・系列と勾配消失
4. 注意機構（標準）— Query／Key／Value・スケール化ドット積注意
5. Transformer（発展）— 自己注意・マルチヘッド・位置符号化
6. 表現学習と埋め込み（標準）— word2vec・埋め込み空間・転移学習

関連ドメイン

• ニューラルネットワーク 目次（基本部品＝MLP・誤差逆伝播・活性化・正規化）
• 生成モデル 目次（これらのアーキテクチャを生成に使う）
• 大規模言語モデル 目次（Transformer を大規模化したもの）
• 機械学習テキスト 全体目次