HHVM JITの深淵：コードキャッシュの飽和を制御し、大規模システムのメモリ制約を突破する
HHVMのJITエンジンは、単なる「バイトコードからマシンコードへの翻訳機」ではない。それは、高密度なHHIR（HHVM Intermediate Representation）を生成し、プロファイリングデータに基づき、オンザフライで最適化を繰り返す動的な生命体だ。
大規模なHackアプリケーションを運用していると、JITが生成するマシンコード領域（TC: Translation Cache）がメモリを喰らい尽くし、RSSが膨れ上がる事態に直面する。これは単なる設定ミスではなく、VM内部のメモリ管理戦略がアプリケーションのコードパスの複雑さと衝突している証左だ。
今回は、この不可視のメモリ消費を制御し、極限まで最適化するための知見を共有する。
—
1. TC（Translation Cache）の構造とメモリの物理的性質
HHVMのJITは、生成したマシンコードを「コードキャッシュ（TC）」という専用のメモリ領域に配置する。この領域は、CPUが直接実行可能なメモリページとして確保される。
重要なのは、この領域が `mmap` によって確保され、VMのヒープとは完全に切り離されている という点だ。しかし、このTCが巨大化すれば、システムの物理メモリを圧迫し、OSレベルのページフォールトやOOM Killerの標的となる。
監視の要諦
`hhvm.jit.a_size` と `hhvm.jit.a_cold_size` は、それぞれホットなコードとコールドなコードのキャッシュサイズを決定する。まず、現状を把握せよ。
HHVMの統計情報を覗き、TCの利用率をリアルタイム監視する
hhvm –admin-server-port=9099 &
echo “stats” | nc localhost 9099 | grep “jit.tc”
ここで `jit.tc.size` が設定上限に張り付いている場合、VMは「コードの追い出し（Eviction）」を繰り返しており、性能劣化の兆候を示している。
—
2. メモリ消費の最適化戦略：制御のレバー
JITのメモリ消費を抑制するためには、単に上限を絞るのではなく、「生成されるコードの品質と密度」を制御する必要がある。
① `a_cold_size` の適正化
多くのエンジニアは `a_size`（ホットコード）ばかりを気にするが、大規模アプリでは滅多に実行されないコードの「コールドキャッシュ」が肥大化する。
; コールドキャッシュをあえて抑制し、メモリを節約する
hhvm.jit.a_cold_size = 67108864 ; 64MB程度まで絞り、重要でないコードのJITを間引く
これにより、重要度の低い分岐やエラーハンドリングパスがマシンコード化されることを防ぐ。
② プロファイルガイド最適化（PGO）の活用
HHVMのJITは、プロファイリングデータなしでは「防御的」なコードを生成しがちだ。PGOを有効にすることで、予測可能なブランチのみを最適化し、不要な命令セットの生成を抑制できる。
; PGOを有効化し、最適化の「精度」を高める
hhvm.jit.pgo = true
精度を高めれば、同じロジックを表現するのにより少ない命令数で済むようになる。結果として、TCのメモリ効率は向上する。
—
3. 限界突破：コード生成の「重さ」を削る
もし、それでもメモリが足りない場合、我々は「JITの攻撃性」そのものを調整する必要がある。
`hhvm.jit.aflow` の制御
`aflow` は、プロファイリングデータに基づき、どの程度アグレッシブにインライン展開を行うかを決定する。大規模プロジェクトでメモリが逼迫している場合、インライン化の閾値を引き下げることで、TCのサイズを劇的に下げられる。
; インライン化を控えめにし、コードの肥大化を抑える
hhvm.jit.aflow = false
マシンコードの「再利用」と「フラグメンテーション」
TCのメモリ管理はチャンク単位で行われる。長時間稼働するプロセスでは、頻繁なコード生成と破棄により断片化が生じる。
これを解決する最強の手段は、定期的なプロセスのリサイクルだ。しかし、アーキテクトとして推奨するのは「JITのウォームアップ」と「キャッシュの固定化」である。
アプリケーションの主要なエンドポイントをリクエスト時に強制的にウォームアップし、キャッシュを安定させることで、メモリの急激なスパイクを防げる。
—
チーフアーキテクトからの忠告
「メモリを食うからJITを無効にする」という選択肢は、Hackにおいては敗北を意味する。HHVMの真価は、その動的な最適化ループにあるからだ。
1. TCのサイズ設定は「物理メモリの10%」を目安にせよ。
2. `hhvm.jit.stats = true` を有効にし、TCのEviction率をメトリクスとして追え。 Evictionが多発しているなら、それは設定の不整合ではなく、アルゴリズムの複雑さが限界を超えているサインだ。
3. 不要なポリモーフィズムを排除せよ。 Hackの型システムを厳格に使い、Type Hintを適切に配置することで、JITは「推論」のコストを下げ、結果として生成されるマシンコードのサイズも最適化される。
システムを掌握せよ。マシンコードの生成を制する者は、HHVMという巨大なエンジンの心臓部を握るのと同じことなのだ。