【入門編】 MulticornとカスタムFDW – PostgreSQL

こんにちは！データベースの世界へようこそ。

普段、PostgreSQLをバリバリ使いこなしている皆さんも、あるいは「データベースって何だか難しそう……」と少し足踏みしている皆さんも、今日はちょっと面白いお話をしますね。

皆さんは、「翻訳機」って使ったことありますか？

例えば、日本語しか話せないあなたが、英語しか話せない外国の方と会話をしたいとき。間に通訳さんが一人入ってくれるだけで、まるで同じ言語で話しているかのようにスムーズに意思疎通ができますよね。

実は、PostgreSQLの世界にもそんな「魔法の通訳」がいるんです。それが今回紹介する「Multicorn（マルチコーン）」という仕組みです。

—

データベースの「言葉」が通じない相手とは？

通常、PostgreSQLはテーブルの中にあるデータを管理するのが仕事です。でも、現実の世界では、データはあちこちに散らばっていますよね。

エクセルのファイルの中
WebサイトのAPIの向こう側
クラウドストレージに置かれたログファイル

これらは、PostgreSQLにとって「母国語が違う相手」なんです。普通なら、一度CSVに書き出して、それを一生懸命PostgreSQLにインポートして……なんて面倒な手順が必要になります。

でも、Multicornを使えば、「まるで最初からPostgreSQLの中にあったかのように」それらのデータを直接操作できてしまうんです。

Multicornの正体は「自由な翻訳家」

Multicornは、Pythonというプログラミング言語を使って、この「翻訳機」を自作できるフレームワークです。

これを専門用語でFDW（Foreign Data Wrapper：外部データラッパー）と呼ぶのですが、難しく考える必要はありません。要は「外部のデータを、PostgreSQLが理解できる形（テーブル形式）に包み直してあげるための道具」だと思ってください。

なぜPythonを使うのが最高なのか？それは、Pythonには世界中のあらゆるデータソースと繋がるためのライブラリが揃っているからです。

「TwitterのつぶやきをDBで見たい！」→ PythonのライブラリでAPIを叩くコードを書く
「Amazon S3にある巨大なファイルを一行ずつ見たい！」→ Pythonで読み込むコードを書く

これらをMulticornのルールに沿って書くだけで、PostgreSQLのSQL文（`SELECT FROM …`）だけで、外部のデータが自由自在に操れるようになるんです。

「魔法」を作るための、ちょっとしたコツ

もちろん、何でもかんでもMulticornで繋げばいいというわけではありません。ここからは、現場で働くエンジニアとしてのちょっとしたアドバイスです。

1. 「遅さ」を覚悟しておく：
SQL一発で外部のAPIを叩くことになるので、相手の反応が遅ければ、データベースも当然待たされます。重い処理をするときは、少し工夫が必要になることもあります。
2. 「読み取り専用」から始めるのが吉：
最初は「外部のデータを見るだけ」の仕組みから作ってみましょう。書き込み（データの更新）までやろうとすると、急に難易度が跳ね上がります。まずは「見える化」する楽しさを味わってください。
3. まずは「小さく」試す：
いきなり巨大なシステムと繋ぐのではなく、自分のPCにあるテキストファイルや、小さなAPIから始めてみるのが一番の近道です。

最後に：データベースはもっと自由になれる

データベースというと、「データをただ溜め込む箱」というイメージがあるかもしれません。でも、Multicornのような技術を使うと、データベースは「世界中のあらゆるデータが集まるハブ（中心地）」に変わります。

「あっちにあるデータと、こっちにあるデータを、SQLで突き合わせて分析できたら面白いのに……」

そんなワクワクするアイデアを形にするための最強の武器が、このMulticornです。まずは難しく考えず、Pythonのコードを数行書いて、自分の好きなデータをPostgreSQLに読み込ませてみてください。

「おっ、本当にテーブルとして見えた！」

その瞬間の感動こそが、エンジニアとしての第一歩です。ぜひ、自分だけの「翻訳機」作りを楽しんでみてくださいね！

また次の記事でお会いしましょう！