Redis Streamsの深層：ログ構造の限界とその先にあるメモリの真実
RedisのStreams（`XADD`, `XDEL`, `XRANGE`等）を単なる「メッセージキュー」として理解しているならば、それはこの強力なデータ構造の表面をなぞっているに過ぎない。
エンジニアとして我々が向き合うべきは、これが単なるリストではなく、Radix Tree（基数木）とListpackを組み合わせた、現代的なインメモリ・ログ・アペンダーであるという事実だ。本稿では、Streamsの基本操作を軸に、そのアーキテクチャの深淵を解剖する。
—
1. XADD：単なる追加ではない「圧縮の魔法」
`XADD`でエントリを追加する際、内部で何が起きているか。多くの開発者は、これが単なる連結リストの末尾追加だと誤解する。
実際には、StreamsはListpackという、メモリ効率を極限まで高めたシリアライズ形式でデータを保持する。`XADD`が実行されると、Redisは新しいエントリをメモリ上にフラットに書き込むのではなく、固定されたサイズの塊（Listpack）に詰め込む。
エントリ追加: は自動生成ID。ミリ秒単位のタイムスタンプとシーケンス番号で構成される
XADD mystream sensor_id 1234 temperature 25.5
内部的には、タイムスタンプ(64bit)とシーケンス(64bit)がバイナリでパックされる
アーキテクトの視点:
`XADD`は単なる書き込みではない。Listpackのチャンクがいっぱいになると、新しいノードがRadix Tree上に生成される。このため、`XADD`はO(1)に近い性能を維持しながら、メモリの断片化を劇的に抑制する。大量の書き込みが発生するログシステムにおいて、この「適度な粒度の圧縮」こそが、Redisが他を圧倒する速度を維持する秘訣だ。
—
2. XRANGE/XREVRANGE：Radix Treeによる対数時間の検索
`XRANGE`や`XREVRANGE`による範囲取得は、RedisのStreamsが「辞書順に並んだログ」であることを利用している。
特定の範囲を抽出: – は最小値、+ は最大値
XRANGE mystream – + COUNT 10
内部では Radix Tree の探索が実行される
ここで重要なのは、「範囲指定がなぜ高速か」だ。
StreamsはRadix Treeによって、キーのプレフィックス（ID）に基づいてインデックスされている。つまり、特定範囲の取得はO(N+log M)（Nは取得件数、Mは総エントリ数）で完結する。
限界突破の知見:
`COUNT`オプションを不用意に大きくしてはならない。`XRANGE`はListpack内のデータをデシリアライズしてクライアントへ転送する。巨大な範囲指定は、単なるメモリ消費だけでなく、ネットワークI/Oのボトルネックとなり、Redisのシングルスレッドイベントループを一時的にスタックさせるリスクがある。
—
3. XDEL：物理削除と「見えないコスト」
`XDEL`によるエントリの削除は、実は「物理的なメモリ解放」を即座に行わない場合がある。
IDを指定して削除
XDEL mystream 1678901234567-0
`XDEL`はListpack内のエントリに「削除フラグ（Tombstone）」を立てる。Listpack全体が空にならない限り、メモリは再利用されない。これはB-treeやLSM-treeの削除操作と同様のトレードオフだ。
設計への示唆:
頻繁な`XDEL`は、メモリ効率を悪化させる可能性がある。もし削除が恒常的に必要であれば、`XDEL`を多用する設計を見直し、`MAXLEN`オプション付きの`XADD`（トリミング）や、時間経過によるデータ破棄を前提とした`XRANGE`でのフィルタリングを検討すべきだ。
—
4. 最後に：アーキテクチャの選択眼
Streamsは、Kafkaのような永続的かつ分散されたログシステムを、Redisという単一ノード（あるいはRedis Cluster）のコンテキストで再現しようとする強力な武器だ。
- Listpack: メモリ消費の最適化。
- Radix Tree: 高速なインデックス探索。
- IDの設計: タイムスタンプによる物理順序と、シーケンスによる衝突回避の完全な統合。
これらを理解せずして、大規模なデータパイプラインを設計することはできない。Redisは単なるキャッシュではない。正しく設計すれば、Streamsはあなたのシステムの「信頼できる唯一の真実（Single Source of Truth）」になり得る。
次回の運用では、`INFO STREAM mystream`を実行し、内部の`radix-tree-nodes`や`length`を確認してみてほしい。そこに書かれている数値こそが、あなたのシステムの「現在の健康状態」だ。
—
「枯れた技術」と揶揄されることもあるが、Redisの内部実装ほど、計算機科学の原則に忠実で、かつ妥協のないシステムは稀だ。この真髄を使いこなせ。
コメント