🗺️ このノートは ローカルLLM テキストの最上位ハブ です(Mímisbrunnr インフラ・システム系)。 ⚠️ 動きが速い領域のため、モデル名・ツールのバージョン・ベンチは「要最新確認」。
ローカルLLM 全体目次
クラウドAPIに頼らず、手元のPC・GPU・Apple Silicon でLLMを動かす実践。量子化で重みを圧縮し、推論エンジン(Ollama・llama.cpp)で走らせ、VRAMに収まるようサイジングし、OpenAI互換APIで既存ツールから叩き、必要ならローカルで微調整・RAGまで。プライバシー・コスト・オフラインを自分の手に取り戻す技術を体系化します。
このサイトの位置づけ
- 自前ハードで動かす実践が主役:Transformer/LLMの原理は機械学習(Phase 12)へ、一般・クラウド規模のモデル配信/監視は MLOps へ、汎用の計算/コンテナ基盤は クラウド・インフラ へ wikilink で繋ぐ
章別目次
全7章・本文26トピック+章目次7+全体目次=34ノート。各章目次から個別トピックへ辿れます。
- 第1章 ローカルLLMの全体像 — 第1章 ローカルLLMの全体像 目次
- 第2章 モデル形式と量子化 — 第2章 モデル形式と量子化 目次
- 第3章 推論エンジン — 第3章 推論エンジン 目次
- 第4章 ハードウェアとサイジング — 第4章 ハードウェアとサイジング 目次
- 第5章 ローカルサービングとAPI — 第5章 ローカルサービングとAPI 目次
- 第6章 ローカル微調整 — 第6章 ローカル微調整 目次
- 第7章 ローカルRAGとアプリ — 第7章 ローカルRAGとアプリ 目次
関連分野(Mímisbrunnr)
- 機械学習(Transformer・LLM・量子化・RAG・LoRA の原理=Phase 12)→ LLMの全体像
- MLOps・AI基盤(クラウド規模のサービング・監視)→ オンライン推論サービング
- クラウド・インフラ(計算/コンテナ基盤)→ コンテナとは(名前空間・cgroups)