HHVM JITの深淵：コードキャッシュ断片化との終わりなき闘争
HackのランタイムであるHHVMにおいて、JIT（Just-In-Time）コンパイラは単なる「加速装置」ではない。それは、動的型付けの曖昧さを静的解析で剥ぎ取り、極限まで最適化されたマシンコードをメモリ上に刻み込む、精密な彫刻機である。
しかし、大規模なコードベースが数週間単位で稼働し続ける環境において、JITコードキャッシュは「見えない敵」に侵食される。それが断片化（Fragmentation）だ。本稿では、コードキャッシュの物理メモリレイアウトとその崩壊、そして我々エンジニアが取るべき「防御的設計」の真髄を解き明かす。
—
1. JITコードキャッシュの物理的実体
HHVMのJITエンジンは、ヒープ上の特定の領域（`TC` – Translated Code）にマシンコードを生成する。この領域は固定サイズのメモリプールとして確保され、以下の三つのセクションで構成される。
1. Main Area: 高頻度で実行されるホットパスのコード。
2. Cold Area: 滅多に実行されない、もしくは最適化の優先度が低いコード。
3. Frozen Area: ほぼ実行されないことが確定したコード（例：例外処理、デバッグコード）。
問題は、HHVMが動的にコードを生成・破棄（`retranslation`）する際、この領域内でメモリが断片化していくことにある。特に、型の不安定なコードや、過剰なポリモーフィズムによってJITが頻繁にコードを再生成する状況下では、メモリの穴（Hole）が急速に拡大する。
2. なぜキャッシュは断片化するのか
断片化の主因は、生存期間の異なるコードの混在である。
- 動的再生成のループ: 型ヒントが不完全な箇所では、ガード（Type Guard）が失敗するたびにJITが再コンパイルを走らせる。古いコードが破棄され、新しいコードがその隙間に滑り込む。しかし、サイズが完全に一致することは稀であり、微小な「使い物にならないメモリの断片」が量産される。
- アライメント制約: x86_64の命令セットは、メモリ境界やキャッシュラインの効率を考慮したアライメントを要求する。HHVMはこれを遵守するためにパディングを挿入するが、これが長期間の運用で蓄積されると、実質的なメモリ使用効率を低下させる。
3. 断片化が引き起こす「死の予兆」
断片化が進むと、HHVMは `TC` 領域を使い果たしたと判断し、強制的な TC Cache Flush を試みる。
- 性能崩壊: キャッシュがフラッシュされると、全てのマシンコードが蒸発し、インタープリタモードへ強制フォールバックする。再コンパイルの嵐（JIT storm）が起き、CPU使用率がスパイクし、レイテンシが跳ね上がる。
- メモリ枯渇: システムが「まだ余裕がある」と誤認したまま、実際には連続したメモリブロックが確保できず、プロセスがクラッシュする。
—
4. 極限のチューニング：防御的戦略
シニアエンジニアとして、この破滅的な状況を回避するための「戦術」は以下の通りだ。
A. JIT領域のサイズ調整（`Eval.JitASize`, `Eval.JitAmsize`）
デフォルト設定は汎用的すぎて、大規模アプリケーションには適さない。`Eval.JitASize`（Main Area）を意図的に大きく確保し、断片化が起きるまでの猶予時間を稼ぐ。
; /etc/hhvm/server.ini
; Main Areaを128MBから256MBへ増強し、断片化耐性を向上させる
Eval.JitASize = 268435456
; Cold Areaも同様に拡張
Eval.JitAColdSize = 134217728
B. 型の厳格化による「ガード」の削減
コードキャッシュの安定性は、型システムの厳格さに比例する。Hackで `<<__ConsistentConstruct>>` や厳格な型指定（`strict` mode）を徹底し、JITが生成するガード条件を最小化せよ。
// 悪い例: 型が不定で、ガードが頻発し、TCが断片化する原因となる
function process($x): void {
$x->doSomething();
}
// 良い例: 型を固定し、JITが単一のマシンコードを生成できるようにする
function process(MyInterface $x): void {
$x->doSomething();
}
C. プロファイリングとモニタリング
`hhvm.jit_stats` を有効にし、`TC` 領域の利用率をリアルタイムで監視すべきだ。特に `JitCache::Free` の断片化率を追跡し、フラッシュ発生直前の傾きを予測する。
—
5. チーフアーキテクトからの提言
システムは「完璧な設計」では終わらない。運用という名の時間の経過とともに、メモリの断片化という「エントロピー」が増大するのは自然の摂理である。
我々が為すべきは、「断片化をゼロにする」という幻想を捨てることだ。代わりに、断片化が性能に与える影響を計算に入れ、再コンパイルが引き起こすJITストームを制御下におくこと。
HHVMの深層を理解するということは、ランタイムがメモリというキャンバスの上で繰り広げる「動的な破壊と創造」を指揮することに他ならない。コードキャッシュを制する者は、超高負荷環境下におけるHackの寿命を制する。
さあ、計測器を手に取り、君たちのアプリケーションの `TC` 領域が刻む鼓動を聴いてみたまえ。そこに、ボトルネックの真実が隠されている。