【入門編】 データシャーディングとスプリット – Cloud Spanner

【超入門】Google Cloud Spannerの真骨頂!「スプリット」と「データ自動分割」の仕組みを世界一分かりやすく解説するよ

やあ、こんにちは!Google Cloud Spanner(以下、Spanner)の世界へようこそ。

「Spannerって、どれだけ大量のデータを入れても、どれだけアクセスが集中しても全然重くならない魔法のデータベースでしょ?」
そんな噂を聞いて興味を持ってくれたのかもしれませんね。

確かにSpannerは驚異的なパフォーマンスを発揮しますが、それは決して「魔法」ではありません。裏側でデータを美しく整理整頓し、必要に応じて自動的にデータを切り分けているからなのです。

このデータ切断&引っ越しの仕組みを、専門用語では「データシャーディング」や「スプリット(Split)」と呼びます。

今回は、Spannerの心臓部とも言えるこの「スプリット」の仕組みについて、日常の出来事に例えながら楽しく解き明かしていきますね。
ここをクリアすれば、Cloud Spannerの基本はバッチリマスターできますよ!

—

1. 日常の例えで理解する「スプリット」ってなに?

まずは難しい技術用語を一回忘れて、「超人気のパン屋さん」を想像してみてください。

このパン屋さんでは、焼き上がったパンをあいうえお順(名前順)に、長〜い1本の棚に並べて売っています。

  • あ行の棚: あんパン、アップルパイ…
  • か行の棚: カレーパン、クリームパン…
  • さ行の棚: サンドイッチ…

最初はパンの種類も少なかったので、店長(サーバー)が1人で棚全体を管理できていました。
しかし、お店が大盛況になり、2つの問題が発生します。

1. パンが増えすぎて棚に乗り切らない!(容量の問題)
2. 「カレーパン」と「クリームパン」に客が集中して、か行の棚の前が大混雑!(アクセスの問題)

困った店長はどうしたでしょうか?
そう、棚を「か〜き」と「く〜こ」の間でサッと2つに切断(スプリット)して、片方の棚を新人アルバイトのBさんに任せたのです。

【分割前】
[ 店長が管理する棚 ] : あんパン 〜 コロッケパン(大混雑&満タン!)

【自動スプリット後】
[ 店長が管理する棚 ] : あんパン 〜 カキフライパン
[ Bさんが管理する棚 ] : カレーパン 〜 コロッケパン (混雑が解消!)

これが、Spannerの中で24時間365日、全自動で行われている「スプリット(動的分割)」と「負荷分散」の正体です。

—

2. Spannerの中ではデータがどう並んでいるの?

Spannerは、すべてのテーブルのデータを「主キー(Primary Key)の順番」に整然と一列に並べて管理しています。辞書のように綺麗に並んでいると思ってください。

この「一列に並んだデータ」の束(まとまり)のことを、Spannerでは「スプリット」と呼びます。

スプリットが分割される2つのきっかけ

Spannerは常に見張っていて、以下のどちらかの限界を迎えると、自動でデータを2つに切り分けます。

1. データサイズが大きくなったとき(容量の上限)
1つのスプリットのサイズが大きくなりすぎると(目安として数GB程度)、Spannerは自動的に境界線を引き、2つのスプリットに分割します。
2. アクセスが集中したとき(負荷の上限)
特定のデータに読み書きが集中すると、Spannerは「おっと、ここが熱くなっているな!」と察知し、そのエリアを細かく分割して、別のサーバーへ担当をバラバラに分散させます。

人間が「サーバーを増やして、データを移動させて…」なんて面倒な作業をする必要はゼロです。すべてSpannerが裏側で勝手にやってくれます。すごいでしょ?

—

3. 境界線はどうやって決まるの?(境界決定アルゴリズム)

「分割するのはわかったけど、どこで切り分けるの?」と気になりますよね。

Spannerは、主キー(Primary Key)の並び順を見て、「ちょうど半分くらいのデータ量になる場所」や「アクセスの切れ目」を賢く見つけ出します。

例えば、ユーザーIDが `USER-0001` から `USER-9999` まであるとしましょう。

【スプリット A】
USER-0001 〜 USER-4999 のデータ

【スプリット B】
USER-5000 〜 USER-9999 のデータ

データが増えてくれば、`USER-2500` や `USER-7500` の位置に新しい境界線が引かれ、スプリットは「2つ → 4つ → 8つ…」と細胞分裂のようにしなやかに増えていきます。

—

4. 初心者がハマる罠!「ホットスポット」を作らないスキーマ設計

Spannerの自動スプリット機能は無敵に見えますが、実は人間側の設計ミスでその能力を封じ込めてしまう罠があります。

それが「ホットスポット(特定の場所に負荷が集中すること)」です。

先ほどのパン屋さんの例で考えてみましょう。
もし新しく焼けたパンを、名前順ではなく「焼き上がった時間順(最新順)」にすべて一番右の棚に置くルールにしたらどうなるでしょうか?

客全員が常に「一番右の棚」に群がってしまいますよね。
棚をいくら細かく分割しても、全員が最新の棚に押し寄せるため、分散の意味がなくなってしまうのです。

ダメな例:連番やタイムスタンプを主キーにする

データベースでよくやりがちな「1, 2, 3…という連番ID」や「作成日時(TIMESTAMP)」を主キーの先頭にすると、最新データが常に末尾の1つのスプリットに集中してしまいます。

— ❌ やってはいけないスキーマ設計(連番やタイムスタンプが先頭)
CREATE TABLE Orders (
CreatedTime TIMESTAMP NOT NULL, — 常に最新の時間(末尾)にデータが追加される!
OrderId STRING(36) NOT NULL,
CustomerName STRING(100),
) PRIMARY KEY (CreatedTime, OrderId);
— これだと、いくらSpannerがスプリットを分割しても、
— データの追加が常に同じスプリットに集中して「ホットスポット」が発生します。

良い例:値をランダムに散らす(UUIDやハッシュ値)

これを防ぐためには、主キーの先頭に「値がバラバラに散らばるもの」を設定します。

— ⭕️ 素晴らしいスキーマ設計(ランダムなUUIDを先頭にする)
CREATE TABLE Orders (
OrderId STRING(36) NOT NULL, — UUIDなどのランダムな文字列(あちこちに分散する!)
CreatedTime TIMESTAMP NOT NULL,
CustomerName STRING(100),
) PRIMARY KEY (OrderId);
— これなら、データが追加される場所が全スプリットに綺麗に散らばるため、
— Spannerの自動分割と負荷分散のパワーが100%発揮されます!

主キーをランダムに分散させておけば、データが入ってくるたびに色々なスプリットへまんべんなく行き渡ります。これこそが、Spannerを無限にスケールさせる最大の秘密なのです。

—

5. まとめ:先輩からのメッセージ

今回の内容を軽く振り返ってみましょう!

1. スプリットとは: Spannerがデータを管理する「主キー順に並んだデータの束」のこと。
2. 自動分割: データ量やアクセス負荷が増えると、Spannerが勝手にスプリットを2つに切り分ける。
3. 負荷分散: 分割されたスプリットは別々のサーバーに引っ越して、全体の混雑を解消する。
4. 設計のコツ: 主キーには連番や日付を避け、UUIDなど「散らばる値」を使ってホットスポットを防ぐ。

どうでしょう?「自動でデータを切って、引っ越しさせて、負荷を逃がす」というイメージが湧いてきたでしょうか。

Spannerのアーキテクチャは一見難しそうに見えますが、「データを主キー順に並べて、混んできたら切り分ける」という本質さえ押さえておけば怖くありません。

ここをクリアできたら、Cloud Spannerの基本はバッチリマスターですよ!
自信を持って、次のステップ(実際のテーブル作成やクエリの発行)へ進んでみてくださいね。応援しています!

コメント

タイトルとURLをコピーしました