FlashRT: エージェントがリアルタイムマルチモーダルアプリケーションを展開するのを導くためのエージェントハーネス

要旨

リアルタイムマルチモーダルアプリケーション（音声エージェントやインタラクティブ動画生成を含む）は、異種モデルをパイプラインに構成するが、その効率的なデプロイには、配置、ストリーミング、モデル内並列性に関するアプリケーション固有の判断が必要となる。既存のサービングシステムや自動並列化コンパイラは限定的な変換と固定されたワークロードの仮定に制約されているため、新しいアプリケーションで高い性能を達成するには手作業による効率的な実装が求められる。本稿ではFlashRTを提案する。これは、コーディングエージェントを誘導して、開発者が記述したシンプルなリファレンス実装を、レイテンシやスループットといった目標指標を柔軟に考慮する最適化済みマルチGPUデプロイメントへと変換するエージェントハーネスである。新しい「チェーン・オブ・プログラム」パラダイムを用いて、FlashRTは汎用コーディングエージェントをマルチパス変換プロセスへと導く。このプロセスでは、エージェントがリファレンスを中間表現(IR)に変換してデータ依存関係と永続状態スコープを捕捉し、逐次インタープリタでこのIRを検証し、静的解析を実行して候補変換を特定する。そして、エージェントは計測ゲート付き最適化ループの下で各候補を反復的に実装、検証、ベンチマークし、様々なハードウェア予算に対応する効果的なデプロイメントを生成する。ビデオワールドモデルやマルチモーダルLLMを含む様々なアプリケーションにおいて、FlashRTはリファレンス実装を高効率なデプロイメントに変換し、NVIDIA B200 GPU上で最大約70倍のレイテンシ低減と2.8倍のスループット向上を実現する。AMD MI355X GPUでは、FlashRTはピークレイテンシ低減を維持しながら、ピークスループット向上を3.6倍に引き上げ、エキスパートによる最適化が成熟していないプラットフォームにおいてエージェント駆動最適化がよりスケーラブルであることを示している。実際、Qwen3-Omniのテキスト音声合成推論において、FlashRTはAMD MI355X上のエキスパート実装であるvLLM-Omniと比較して応答レイテンシを65%削減する。

English

Real-time multimodal applications, including voice agents and interactive video generation, compose heterogeneous models into pipelines whose efficient deployment requires application-specific decisions about placement, streaming, and intra-model parallelism. Existing serving systems and auto-parallelism compilers commit to limited transformations and fixed workload assumptions, so achieving high performance on a new application requires hand-crafting an efficient implementation. We present FlashRT, an agent harness that guides coding agents to lift simple developer-written reference implementations into optimized multi-GPU deployments that flexibly weigh target metrics like latency and throughput. Using a new chain-of-program paradigm, FlashRT directs a generic coding agent through a multi-pass transformation process where an agent transforms the reference into an intermediate representation (IR) to capture data dependencies and persistent-state scopes, validates this IR via a sequential interpreter, and performs static analyses to identify candidate transformations. Then, the agent iteratively implements, verifies, and benchmarks each candidate under a measurement-gated optimization loop to produce effective deployments that span different hardware budgets. Across various applications, including video world models and multimodal LLMs, FlashRT converts reference implementations into highly efficient deployments, delivering up to ~70x latency reduction and 2.8x throughput improvement on NVIDIA B200 GPUs. On AMD MI355X GPUs, FlashRT matches the peak latency reduction while increasing peak throughput improvement to 3.6x, demonstrating that agent-driven optimization can be more scalable on platforms with less mature expert optimization. In fact, for Qwen3-Omni text-to-audio inference, FlashRT reduces response latency by 65% compared to the expert vLLM-Omni implementation on AMD MI355X.