🗺️ このノートは 第4章「非線形最適化」のハブ です。
第4章 ── 非線形最適化
目的や制約が非線形になると、頂点や全ユニモジュラといった線形の便利さは消える。代わりに 勾配・ヘッセ行列という微分情報で「下る」探索を組む。この章では、無制約の勾配法・ニュートン法から、制約付きのラグランジュ乗数・KKT 条件・ペナルティ/障壁法までを、最適性条件の導出まで辿る。
トピック一覧
- 無制約最適化 — 勾配法・最急降下・ステップ幅（基礎）
- ニュートン法・準ニュートン法 — 2次情報・BFGS・収束次数（標準）
- 等式制約とラグランジュ乗数 — 乗数の意味・停留条件（標準）
- 不等式制約とKKT条件 — 相補性・実行可能性・正則性（発展）
- ペナルティ法・障壁法 — 制約を目的へ織り込む（標準）
この章の位置づけ
- 勾配法（無制約最適化）は ML の学習文脈へ（無制約最適化 から wikilink）。ここは 一般理論として扱う
- KKT 条件（不等式制約とKKT条件）は第1章 最適性条件の地図 の予告を回収し、凸最適化（凸最適化問題と双対理論）で十分条件になる
- 障壁法（ペナルティ法・障壁法）は内点法（内点法入門）の一般化
関連章
- 前章：整数計画と組合せ最適化 章目次 次章：凸最適化 章目次
- 全体ハブ：数理最適化・OR 全体目次