【入門編】統計情報収集のサンプリング手法 – PostgreSQL

こんにちは！データベースの世界にどっぷり浸かって十数年、今日も元気にクエリと格闘しているエンジニアです。

皆さんは、PostgreSQLを使っていて「なんだか最近、データの検索が遅いな……」と感じたことはありませんか？実はそれ、データベースが「今のテーブルの中身、どうなってるかよく分かんないんだよね」と迷子になっているのが原因かもしれません。

そんな時、私たちエンジニアは「ANALYZE」という魔法のコマンドを唱えて、データベースに「最新の状況を把握して！」と伝えます。でも、このANALYZE、巨大なテーブル相手だと平気で数分、あるいは数時間かかってしまうこともあるんです。

今日は、そんな「大規模データの統計収集」を、「全ページ読まなくても、中身が完璧に分かる裏技」という切り口で解説しますね。

—

想像してみてください。あなたは今、1000ページある分厚い辞書の中から、「どの単語がどれくらいの頻度で使われているか」を調査する係だとします。

もし、その辞書を最初から最後まで、1文字残さず読み込んだらどうなるでしょう？……日が暮れますよね。しかも、読み終わる頃には、最初に読んだ部分の内容を忘れかけているかもしれません。

そこで、賢いやり方を思いつきませんか？
「とりあえず、パラパラっとランダムに10ページだけ開いて、そこに載っている単語の傾向をチェックする」んです。

実は、PostgreSQLの統計収集もこれと同じことをやっています。これが「サンプリング手法」という考え方です。

「えっ、一部だけ見て大丈夫なの？偏ったページを引いたら正確なデータにならないんじゃ……」と思いますよね。その不安、すごくよく分かります。

でも、統計学の面白いところは、「全体からランダムに、ある程度の量を抜き出せば、全体像は驚くほど正確に推測できる」という点なんです。

PostgreSQLは、この「サンプリング」を裏で上手に行っています。「このテーブルは巨大だから、全部見ないで、1%分だけランダムに摘まみ食いして統計を作ろう！」という判断をしてくれるわけですね。

この仕組み、知っておくとちょっとカッコいいですよ。実務ではこんな使い分けを意識してみてください。

基本はPostgreSQLにお任せ: PostgreSQLは賢いので、基本的には自動で最適なサンプリング率を考えてくれます。まずはデフォルトを信じてみましょう。
「最近、統計情報がズレている気がする」と感じたら: 手動でANALYZEを叩く際、「もう少し濃いめのデータが欲しいな」と思ったら、設定を調整してサンプリングの密度を上げることも可能です。

ただし、「密度を上げれば上げるほど、実行時間は長くなる」というトレードオフがあることだけは忘れないでくださいね。まさに「急がば回れ」の世界です。

—

データベースがクエリを速く処理できるかどうかは、この「統計情報」という名の「カンニングペーパー」の出来栄えにかかっています。

こう考えると、ただの呪文のようなコマンドも、少し愛着が湧いてきませんか？

「大規模テーブルの統計更新が遅いな」と悩んだ時は、ぜひ「今日は何ページ分くらいサンプリングしているのかな？」と想像を巡らせてみてください。そうやってデータベースの「中身」を意識できるようになれば、あなたも立派なデータベースエンジニアへの第一歩を踏み出したと言えるはずです。

それでは、また次回のブログでお会いしましょう。ハッピーなクエリライフを！