🗺️ このノートは 第5章「データウェアハウスとレイクハウス」のハブ です。
第5章 ── データウェアハウスとレイクハウス
整えたデータを「どこに・どう置いて・どう届けるか」の基盤です。構造化データの分析に最適化したデータウェアハウス(05-01)、生データを安く貯めるデータレイク(05-02)、両者の良いとこ取りを狙うレイクハウスとそれを支えるテーブルフォーマット(05-03)、そして層で品質を上げるメダリオンアーキテクチャ(05-04)を、SQLとParquetで確かめます。
「DWH(構造・速い・管理される)」と「レイク(柔軟・安い・なんでも置ける)」の対立と統合が、この章の主題です。
トピック一覧
- データウェアハウス — 分析特化のDB・スキーマオンライト・MPP
- データレイクとオブジェクトストレージ — 生データの湖・スキーマオンリード
- レイクハウスとテーブルフォーマット — Delta/Iceberg・ACID・タイムトラベル
- メダリオンアーキテクチャ — bronze/silver/goldの層構造
この章の位置づけ
- 置くデータの設計は第2章 第2章 データモデリング 目次、ファイル形式は ファイルフォーマットとシリアライゼーション
- 大規模変換のエンジンは第6章 第6章 分散処理 目次、メタデータ管理は データガバナンスとカタログ
- 汎用のオブジェクトストレージ運用は クラウド・インフラ へ wikilink