FlashRT: 에이전트의 실시간 멀티모달 애플리케이션 배포를 위한 에이전트 활용 도구

초록

실시간 멀티모달 애플리케이션(음성 에이전트, 대화형 비디오 생성 등)은 이종 모델들을 파이프라인으로 구성하며, 효율적인 배포를 위해서는 배치(placement), 스트리밍(streaming), 모델 내 병렬화(intra-model parallelism)에 대한 애플리케이션별 결정이 필요하다. 기존의 서빙 시스템과 자동 병렬화 컴파일러는 제한된 변환과 고정된 작업 부하 가정에 의존하므로, 새로운 애플리케이션에서 높은 성능을 달성하려면 수동으로 효율적인 구현을 작성해야 한다. 본 논문에서는 FlashRT를 제안한다. 이는 에이전트 하네스(agent harness)로서 코딩 에이전트를 안내하여 개발자가 작성한 간단한 참조 구현체를 최적화된 멀티 GPU 배포로 변환하고, 지연 시간과 처리량 같은 목표 지표를 유연하게权衡(trade-off)할 수 있게 한다. 새로운 프로그램 체인 패러다임(chain-of-program paradigm)을 활용하여 FlashRT는 일반 코딩 에이전트를 다중 패스 변환 프로세스로 안내한다. 에이전트는 참조 구현체를 중간 표현(IR)으로 변환하여 데이터 의존성과 영구 상태 범위(persistent-state scopes)를 포착하고, 순차 인터프리터를 통해 이 IR을 검증하며, 정적 분석을 수행하여 후보 변환을 식별한다. 이후 에이전트는 측정 기반 최적화 루프(measurement-gated optimization loop)에서 각 후보를 반복적으로 구현, 검증, 벤치마킹하여 다양한 하드웨어 예산에 걸쳐 효과적인 배포를 생성한다. 비디오 월드 모델과 멀티모달 LLM을 포함한 여러 애플리케이션에서 FlashRT는 참조 구현체를 고효율 배포로 변환하여 NVIDIA B200 GPU에서 최대 약 70배의 지연 시간 감소와 2.8배의 처리량 향상을 달성했다. AMD MI355X GPU에서는 최대 지연 시간 감소를 유지하면서 최대 처리량 향상을 3.6배로 증가시켰으며, 이는 에이전트 기반 최적화가 전문가 최적화가 덜 성숙한 플랫폼에서 더 확장 가능함을 보여준다. 실제로 Qwen3-Omni 텍스트-오디오 추론에서 FlashRT는 AMD MI355X에서 전문가용 vLLM-Omni 구현체 대비 응답 지연 시간을 65% 감소시켰다.

English

Real-time multimodal applications, including voice agents and interactive video generation, compose heterogeneous models into pipelines whose efficient deployment requires application-specific decisions about placement, streaming, and intra-model parallelism. Existing serving systems and auto-parallelism compilers commit to limited transformations and fixed workload assumptions, so achieving high performance on a new application requires hand-crafting an efficient implementation. We present FlashRT, an agent harness that guides coding agents to lift simple developer-written reference implementations into optimized multi-GPU deployments that flexibly weigh target metrics like latency and throughput. Using a new chain-of-program paradigm, FlashRT directs a generic coding agent through a multi-pass transformation process where an agent transforms the reference into an intermediate representation (IR) to capture data dependencies and persistent-state scopes, validates this IR via a sequential interpreter, and performs static analyses to identify candidate transformations. Then, the agent iteratively implements, verifies, and benchmarks each candidate under a measurement-gated optimization loop to produce effective deployments that span different hardware budgets. Across various applications, including video world models and multimodal LLMs, FlashRT converts reference implementations into highly efficient deployments, delivering up to ~70x latency reduction and 2.8x throughput improvement on NVIDIA B200 GPUs. On AMD MI355X GPUs, FlashRT matches the peak latency reduction while increasing peak throughput improvement to 3.6x, demonstrating that agent-driven optimization can be more scalable on platforms with less mature expert optimization. In fact, for Qwen3-Omni text-to-audio inference, FlashRT reduces response latency by 65% compared to the expert vLLM-Omni implementation on AMD MI355X.