【実務・中級編】全文検索の基本構造 – PostgreSQL

やあ、みんな！今日も元気にデータと戯れてるかい？

データベースの世界にどっぷり浸かっていると、避けられないのが「検索」だよね。特に、テキストデータの中から目的の情報を効率よく見つけ出す「全文検索」は、ユーザー体験を左右する重要な機能になる。

「全文検索」って聞くと、ElasticsearchとかSolrみたいな専門の検索エンジンを思い浮かべる人も多いかもしれない。もちろんそれらは強力だし、大規模なシステムでは必須の選択肢だ。でもね、ちょっと待ってほしい。PostgreSQLにも、実は強力な全文検索機能が標準で備わっているんだ。しかも、これが意外と侮れない、いや、むしろ「かなり使える」レベルなんだよ。

今日は、そのPostgreSQLの全文検索機能の基本中の基本、でも一番大事な「検索の仕組み」について、実務で役立つようにガッツリ解説していくよ。

全文検索のキモ！`tsvector`と`tsquery`って何だ？

まず最初に理解しておきたいのが、PostgreSQLの全文検索が、生のテキストを直接検索しているわけではない、という点だ。じゃあ、どうやってるのか？答えは、特別なデータ型に変換してから検索しているんだ。

それが、この二つの主役。

`tsvector`: 検索対象となるテキストを、検索に適した形に変換して格納するデータ型
`tsquery`: ユーザーが入力した検索条件を、`tsvector`と照合できる形に変換して格納するデータ型

「なんでわざわざ変換するの？」って思うかもしれないね。これにはいくつか理由があるんだ。

1. パフォーマンス: 生のテキストを毎回スキャンするのは非効率。事前に検索しやすい形に加工しておくことで、検索速度が劇的に向上する。
2. 正規化: 検索対象の単語を、その語幹（ルート）に揃えたり（ステミング）、どうでもいい単語（ストップワード）を除外したりして、より賢い検索を可能にする。例えば、「running」「runs」「ran」を全部「run」として扱ったりするわけだ。
3. 柔軟な検索: AND, OR, NOTはもちろん、フレーズ検索や前方一致検索など、高度な検索条件を効率的に扱えるようになる。

この二つの型を理解することが、PostgreSQL全文検索マスターへの第一歩だよ。

検索対象を準備する：`to_tsvector`関数の使い方

じゃあ、まずは検索対象のテキストを`tsvector`に変換する方法から見ていこうか。使うのは`to_tsvector`関数だ。

基本はこれ！言語指定は忘れずに

`to_tsvector`関数は、第一引数に「言語設定」、第二引数に「変換したいテキスト」を指定する。

SELECT to_tsvector(‘english’, ‘The quick brown fox jumps over the lazy dog.’);

これを実行すると、こんな結果が返ってくるはずだ。

to_tsvector
———————————————————
‘brown’:3 ‘dog’:9 ‘fox’:4 ‘jump’:5 ‘lazi’:8 ‘quick’:2
(1 row)

お、なんか色々と変わったのがわかるかな？

単語がスペースで区切られ、コロン（:）の後に数字がついてる。この数字は、元のテキストにおける単語の位置を示しているんだ。
「The」や「over」のような頻繁に出てくるけど意味の薄い単語（ストップワード）が消えているね。
「jumps」が「jump」に、「lazy」が「lazi」に、それぞれ語幹に変換されている（ステミング）。これは英語のステミングルールに基づいているんだ。

この「言語指定」がすごく大事なんだ。PostgreSQLは、指定された言語に基づいてストップワードリストやステミングルールを適用するからね。日本語の場合は`japanese`を指定するんだけど、標準では日本語の形態素解析器が入っていないことが多いから、別途MeCabなどの拡張機能（`pg_bigm`や`textsearch_ja`など）を導入する必要があるよ。今回は英語を例に進めるけど、この「言語」の概念は頭に入れておこう。

実務での使いどころ

`to_tsvector`は、主に以下の二つのパターンで使うことになるだろう。

1. 検索時に動的に変換する: 一時的に検索を試したい場合や、データ量が少ない場合に。
2. 専用のカラムに格納する: 頻繁に検索するなら、`tsvector`型のカラムを追加して、そこに変換済みのデータを保存しておくのが一般的。これにインデックスを貼ることで、検索パフォーマンスを最大化できるんだ。

— 例: articles テーブルに tsvector カラムを追加して保存
ALTER TABLE articles ADD COLUMN tsv_body tsvector;

UPDATE articles
SET tsv_body = to_tsvector(‘english’, body_content);

— 今後、データが追加・更新されたときに自動で tsv_body を更新するトリガーも設定できる
CREATE FUNCTION update_tsv_body() RETURNS trigger AS $$
BEGIN
NEW.tsv_body = to_tsvector(‘english’, NEW.body_content);
RETURN NEW;
END
$$ LANGUAGE plpgsql;

CREATE TRIGGER t_update_tsv_body
BEFORE INSERT OR UPDATE ON articles
FOR EACH ROW EXECUTE FUNCTION update_tsv_body();

これによって、`articles`テーブルの`body_content`カラムを更新すると、自動的に`tsv_body`カラムも更新されるようになる。この`tsv_body`カラムに対してインデックスを貼れば、超高速な全文検索が可能になるわけだ。

検索条件を組み立てる：`to_tsquery`関数の構文

次に、ユーザーが入力した検索キーワードを`tsquery`に変換する方法を見ていこう。使うのは`to_tsquery`関数だ。

`tsquery`の構文は、ちょっと独特だけど、慣れれば強力な武器になるよ。

基本的な使い方

`to_tsquery`も`to_tsvector`と同様に、第一引数に言語、第二引数に検索キーワードを指定する。

SELECT to_tsquery(‘english’, ‘quick & brown’);

結果はこうなる。

to_tsquery
————
quick & brown
(1 row)

この`quick & brown`が`tsquery`形式だ。見た目はあまり変わらないけど、内部的には「’quick’という単語と’brown’という単語の両方を含む」という意味になっている。

検索演算子を使いこなそう

`tsquery`では、複数の単語を組み合わせるための特別な演算子があるんだ。

`&` (AND): 両方の単語を含むドキュメントを検索。

SELECT to_tsquery(‘english’, ‘fox & dog’); — fox と dog の両方を含む

`|` (OR): どちらかの単語を含むドキュメントを検索。

SELECT to_tsquery(‘english’, ‘fox | cat’); — fox または cat を含む

`!` (NOT): 指定した単語を含まないドキュメントを検索。

SELECT to_tsquery(‘english’, ‘dog & !cat’); — dog は含むが cat は含まない

`<->` (FOLLOWED BY): 左の単語の直後に右の単語が続くフレーズを検索。

SELECT to_tsquery(‘english’, ‘quick <-> brown’); — “quick brown” というフレーズ

これは「`quick`の次に`brown`が来る」という意味。間に他の単語が入るとマッチしないよ。
数字を使って「N単語以内に」という指定もできる（例: `quick <2> dog` でquickから2単語以内にdogがある）

“ (PREFIX): 単語のプレフィックス（前方一致）検索。

SELECT to_tsquery(‘english’, ‘jump:’); — “jump” で始まる単語（jumps, jumpingなど）

これらの演算子を組み合わせることで、複雑な検索条件も表現できるんだ。括弧を使って優先順位を明確にすることもできるよ。

SELECT to_tsquery(‘english’, ‘(fox | cat) & !lazy’);
— fox または cat を含むが、lazy は含まないドキュメント

実際に検索してみよう！`@@`演算子

`tsvector`と`tsquery`の準備ができたところで、いよいよこれらを組み合わせて検索する番だ。使うのは`@@`演算子。これは「左側の`tsvector`が、右側の`tsquery`にマッチするかどうか」を判定してくれるんだ。

クエリの例

簡単なテーブルを作って試してみよう。

CREATE TABLE documents (
id SERIAL PRIMARY KEY,
title TEXT,
content TEXT,
tsv_content tsvector
);

INSERT INTO documents (title, content) VALUES
(‘About Foxes’, ‘The quick brown fox is a clever animal. It hunts rabbits.’),
(‘About Dogs’, ‘Dogs are loyal pets. They love to play and run.’),
(‘Cats and Dogs’, ‘Many people love both cats and dogs. Cats are independent, dogs are social.’);

— tsv_content カラムを更新
UPDATE documents
SET tsv_content = to_tsvector(‘english’, title || ‘ ‘ || content);

— あるいは、トリガーを設定していれば自動で更新される

これで、`documents`テーブルには`tsv_content`という`tsvector`型のカラムができた。これを使って検索してみよう！

1. 単一キーワード検索

SELECT id, title, content
FROM documents
WHERE tsv_content @@ to_tsquery(‘english’, ‘fox’);

結果：

id | title | content
—-+————-+———————————————-
1 | About Foxes | The quick brown fox is a clever animal. It hunts rabbits.
(1 row)

2. AND検索

SELECT id, title, content
FROM documents
WHERE tsv_content @@ to_tsquery(‘english’, ‘dog & play’);

結果：

id | title | content
—-+————+———————————–
2 | About Dogs | Dogs are loyal pets. They love to play and run.
(1 row)

3. OR検索

SELECT id, title, content
FROM documents
WHERE tsv_content @@ to_tsquery(‘english’, ‘fox | cat’);

結果：

4. NOT検索（dogs を含むが cats を含まない）

SELECT id, title, content
FROM documents
WHERE tsv_content @@ to_tsquery(‘english’, ‘dog & !cat’);

結果：

id | title | content
—-+————+———————————–
2 | About Dogs | Dogs are loyal pets. They love to play and run.
(1 row)

5. フレーズ検索 (`quick brown` の順で並んでいるもの)

SELECT id, title, content
FROM documents
WHERE tsv_content @@ to_tsquery(‘english’, ‘quick <-> brown’);

結果：

id | title | content
—-+————-+———————————————-
1 | About Foxes | The quick brown fox is a clever animal. It hunts rabbits.
(1 row)

どうだい？思ったより直感的で、パワフルだと感じないかな？

高速化の要！インデックス設計（ちょこっとだけ）

ここまでの解説で、`to_tsvector`と`to_tsquery`、そして`@@`演算子の使い方はバッチリだね。でも、忘れてはいけないのが「インデックス」の存在だ。

PostgreSQLの全文検索を実用的な速度で動かすためには、GIN (Generalized Inverted Index) または GiST (Generalized Search Tree) インデックスを`tsvector`カラムに張ることが必須になる。

— GINインデックスの例
CREATE INDEX idx_documents_tsv_content ON documents USING GIN (tsv_content);

このインデックスがあるかないかで、検索速度は文字通り「桁違い」に変わってくる。数百万、数千万件のデータから全文検索をするなら、このインデックスは絶対に欠かせない。

今回は全文検索の「基本構造」に焦点を当てたから、インデックスの詳細についてはまた別の機会に深く掘り下げていこう。でも、`tsvector`カラムを作ったら、必ずGINインデックスを張る、これだけは覚えておいてほしい。

まとめ：PostgreSQLの全文検索、侮るなかれ！

今日の話はどうだったかな？

PostgreSQLの全文検索は、`to_tsvector`で検索対象を整形し、`to_tsquery`で検索条件を組み立て、そして`@@`演算子でそれらをマッチさせる、という基本構造で成り立っている。

`to_tsvector`: テキストを検索効率の良い`tsvector`形式に変換。言語指定が重要。
`to_tsquery`: 検索キーワードを`tsvector`と照合可能な`tsquery`形式に変換。`&`, `|`, `!`, `<->`, “ などの演算子を使いこなそう。
`@@`: `tsvector`と`tsquery`をマッチさせる検索演算子。

これらの機能を組み合わせれば、外部の検索エンジンに頼らなくても、かなり高度な全文検索システムをPostgreSQL単体で構築できるんだ。もちろん、大規模なデータや超高速なリアルタイム検索が求められるなら専門の検索エンジンも検討すべきだけど、多くのケースではPostgreSQLの組み込み機能で十分対応できるはずだ。

まずは、自分のプロジェクトで「ちょっと全文検索試してみたいな」と思ったら、今日学んだことを活かして、PostgreSQLで実装してみてほしい。きっと、その手軽さとパワフルさに驚くはずだよ。

じゃあ、また次の記事で会おう！エンジョイ・コーディング！