「メモリの壁」を突破する：PostgreSQLのパーティションワイズ結合（Partition-wise Join）を極める
PostgreSQLを長年触っていると、必ずと言っていいほど直面する壁があります。数億レコードを超える巨大なテーブル同士の結合。Nested Loopで一生終わらないクエリを眺め、Hash Joinに切り替えても今度は「Work Mem」が足りずにディスクへ溢れ出し、I/O待ちでシステムが沈黙する――。
そんな絶望的な状況を打開する切り札が、「パーティションワイズ結合（Partition-wise Join）」です。
今日は、単なる「設定の有効化」を超えて、この機能がなぜ強力なのか、そしてなぜ現場で期待通りの性能が出ないことがあるのか。その深淵を覗いてみましょう。
—
なぜパーティションワイズ結合が必要なのか？
通常、PostgreSQLがパーティションテーブルを結合する際、基本的には「全パーティションをひとまとめ」にして結合しようとします。つまり、巨大なハッシュテーブルを一度メモリ（あるいはディスク）上に構築するわけです。
しかし、もし結合キーがパーティションキーと一致しているなら、話は別です。
「パーティションAとパーティションA」「パーティションBとパーティションB」……というように、ペアごとに独立して結合処理を行えば、扱うデータセットのサイズは劇的に小さくなります。
- メモリ効率： 巨大なハッシュテーブルを構築する必要がなくなり、`work_mem`の枯渇を防げる。
- キャッシュヒット率： 小さなデータセットを扱うことで、CPUキャッシュやバッファキャッシュへの収まりが良くなる。
- 並列処理の最適化： 各パーティションの結合を並列化することで、マルチコアの恩恵を最大限に引き出せる。
—
「魔法」が発動する条件と、その裏側
この機能はPostgreSQL 11以降、大幅に強化されましたが、それでも「自動でやってくれるんでしょ？」と油断してはいけません。以下の条件が揃わないと、オプティマイザは冷徹にパーティションワイズ結合を諦めます。
1. 結合キーがパーティションキーと同一であること
2. 両方のテーブルが同じパーティション構成（パーティション境界）を持っていること
内部アーキテクチャの視点で見ると、これは「クエリプランナーの最適化の探索空間」の話です。プランナーは、結合対象がパーティションされていると判断すると、`enable_partitionwise_join`が有効であれば、パーティションごとの結合プランを評価します。
しかし、パーティション数が多い場合、この「探索コスト」が無視できなくなります。パーティションが数百、数千とある場合、すべての組み合わせを計算するだけでクエリの計画時間が跳ね上がります。これが、大規模パーティション運用における隠れたボトルネックです。
—
現場でトラブルシューティングする際に確認すべきこと
もし「パーティションワイズ結合が効いていない」と感じたら、まずは `EXPLAIN (ANALYZE, VERBOSE)` を叩いてください。プランの中に `Append` ノードが見えず、巨大な `Hash Join` が鎮座しているなら、何かが阻害しています。
よくある落とし穴：
- データ型の不一致： 結合キーの型が微妙に異なると（例：`int`と`bigint`）、暗黙のキャストが発生し、パーティションワイズ結合は働きません。
- パーティション構造のズレ： 定義したパーティションの境界値が微妙にずれていると、プランナーは安全側に倒して全体結合を選択します。
- コスト見積もりの誤認： 統計情報が古いと、オプティマイザは「全体を結合したほうが速い」と誤った推論をします。`ANALYZE`は必須です。
—
達人の視点：あえて「使わない」という選択肢
誤解しないでほしいのは、これが常に「最強」ではないということです。
パーティションワイズ結合が有効なのは、「各パーティションのサイズが十分に小さく、かつ並列処理がオーバーヘッドを上回るケース」です。
パーティションがあまりにも細分化されすぎている（マイクロパーティショニング）場合、逆に処理のオーバーヘッドが積み重なり、期待した速度が出ないどころか、CPU時間を浪費する結果になります。
まとめ
パーティションワイズ結合は、PostgreSQLが持つ「賢さ」を最大限に引き出すための高度な技術です。しかし、それを使いこなすには、データベースの構造を設計者の意図通りにコントロールする「規律」が求められます。
「なぜこのクエリは遅いのか？」と悩んだとき、まずはデータがパーティションという「箱」の中に綺麗に整列されているか、そしてプランナーがその規律を正しく理解できているかを確認してみてください。
データベースのチューニングは、いつだって技術と論理の積み重ねです。さあ、皆さんの環境でも、今日のクエリプランを見直してみてはいかがでしょうか。
コメント