実行時生成コードの死地：HHVM JITにおける「コードキャッシュ・フラグメンテーション」の深淵
HHVMの深淵を覗こうとする諸君へ。
我々が日々扱っているHackは、ただの高級言語ではない。HHVMという巨大なJITコンパイル・エンジンが、絶え間なくマシンコードを生成・破棄する「動的な生命体」の上で呼吸している。
多くのエンジニアは、HHVMが生成するマシンコード（TC: Translation Cache）を「ブラックボックス」として扱う。だが、高負荷環境においてパフォーマンスが不可解な停滞を見せるとき、その原因の多くはコードキャッシュの断片化（フラグメンテーション）にある。
今日は、HHVMのメモリ管理戦略の裏側を、システムアーキテクトの視点から紐解く。
—
1. TC（Translation Cache）の構造的宿命
HHVMのJITは、バイトコードをオンデマンドでx64マシンコードに変換し、それを`CodeCache`と呼ばれる専用のメモリ領域に配置する。
この領域は単なるヒープではない。CPUの命令キャッシュ（I-Cache）ミスを最小限に抑え、分岐予測を最適化するために、連続する物理メモリ空間を要求する。しかし、現実のアプリケーションは刻一刻と動く。関数が呼び出され、プロファイルが更新され、JITが再生成される。
フラグメンテーションの正体
HHVMがTCを割り当てる際、`mmap`された領域内で細かなチャンクを切り出す。
- ホット・コードの生成: 頻繁に呼ばれる関数
- コールド・コードの生成: 滅多に呼ばれないエラーハンドリング等
これらが混在して配置されると、メモリの断片化が発生し、最終的には「十分な空き容量があるのに、連続したメモリブロックが確保できない」という致命的な状況に陥る。
—
2. ページングとフラグメンテーションの防壁
HHVMのコードキャッシュ管理は、OSのページング戦略と深く結びついている。我々が採用しているのは、単なるアロケータではない。
階層化されたメモリ・アロケーション
HHVMは、コード領域を複数の「セグメント」に分割管理している。
1. Global Cache: 静的なコード用。
2. Dynamic Cache: プロファイル結果に基づき再生成されるコード用。
ここでの肝は、「コードの寿命による分離」だ。寿命の短いコードと長いコードを同じ物理メモリセグメントに混在させない。これにより、特定のセグメントを解放した際に、OSレベルでページを再利用（`madvise`による`MADV_DONTNEED`等）しやすくしている。
—
3. 実践的知見：フラグメンテーションを抑え込むためのアーキテクチャ
シニアエンジニアとして知っておくべきは、この断片化をいかにして「制御」するかだ。
① `TCSize` の最適化
デフォルト値で満足してはならない。大規模なアプリケーションでは、`Eval.Jit 代码キャッシュサイズ`のチューニングが必須だ。
// HHVM内部設定例
// コードキャッシュのセグメントサイズを調整し、断片化を抑制する
// 物理メモリが潤沢にある環境では、セグメントを大きくすることで
// ページングの頻度を下げ、TLBミスを低減させる。
Eval.JitGlobalTranslationCacheSize = 256 1024 1024; // 256MB
② コード再配置（Re-optimization）のコスト
HHVMは、プロファイル情報が蓄積されると、既存のコードを「より最適化されたコード」に差し替える。この際、古いコードは即座にメモリから消えるわけではない。「コードの無効化（Invalidation）」というプロセスを挟む必要がある。
このとき、メモリ上で古いコードにジャンプしているスレッドが存在するため、我々は「Read-Copy-Update (RCU)」に近い手法を用いて、セーフポイントを待機させる。この待機時間の累積が、CPUサイクルを浪費させる最大の要因だ。
—
4. セキュリティ研究者への警告：JITインジェクションの副産物
このフラグメンテーションとメモリ管理の仕組みは、セキュリティ的にも興味深い対象だ。
JITメモリは通常 `RWX` (Read-Write-Execute) 権限を避けるため、`RX` と `RW` を切り替える保護機構が働く。
フラグメンテーションが極限まで進むと、アロケータはメモリ確保のためにページ属性を頻繁に切り替える必要がある。もし、アロケータの内部状態を操作（または観測）できれば、JIT生成コードの配置を予測し、ROPチェーンの足場を築く攻撃手法への耐性を評価する必要が出てくる。
—
最後に：低レイヤに魂を込める
HHVMのJITは、単なるコード生成器ではない。それは、CPUとメモリという物理的な制約に対し、ソフトウェアの論理構造をいかに効率よく「刻み込む」かの芸術である。
フラグメンテーションを恐れるな。それはシステムが「生きている」証拠だ。
我々の仕事は、その混乱を予測し、計算資源を限界まで絞り出すことにある。
もし君たちが、HHVMのプロファイラから出力される`JitCodeCache`の統計値を見て、その奥底にあるメモリのアライメントや、CPUパイプラインの停止を感じ取ることができたなら――その時こそ、君たちは真のHackの使い手だと言えるだろう。
次回の講義では、JITの「デオプティマイゼーション（De-optimization）」が引き起こす、スタックフレームの崩壊と再構成について深く掘り下げる。
心して準備しておくように。