비디오는 왜 아직도 이렇게 비싼가? 비디오 및 시청각 LLM의 추론 효율성 메커니즘에 관한 서베이

초록

비디오 이해는 비디오 표현을 사전학습된 대규모 언어 모델과 결합하고 텍스트 프롬프트에 생성 조건을 둔 시스템인 비디오 대규모 언어 모델(VideoLLM)로 빠르게 발전해 왔다. 이들은 캡션 생성, 질의응답, 검색, 시간적 그라운딩에서 강력한 성능을 보이지만, 그 대가는 프레임 수와 문맥 길이에 따라 증가하는 계산 및 메모리 비용이며, 이는 실시간, 모바일 및 자원 제약 환경에서의 배포를 제한한다. 본 서베이는 파라미터 수, 입력당 FLOPs, 지연시간, 메모리, 또는 시각 및 오디오 토큰 수의 구체적인 감소를 보고하는 시각 및 오디오비주얼 VideoLLM을 위한 추론 효율화 기법을 다룬다. 우리는 프레임 샘플링, 모달리티 인코딩, 커넥터 수준 토큰 감소, LLM 프리필링 및 디코딩 전반에 걸친 병목을 분석한다. 우리는 방법들을 작동하는 파이프라인 단계별로 정리하며, 2022년 말 이후 개발된 VideoLLM과 현재 파이프라인의 구성 요소로 남아 있는 초기 프레임 샘플링 및 비전 인코더 메커니즘을 함께 다룬다. 가능한 경우 동일한 호스트 모델과 입력 프로토콜 하에서 문헌에 보고된 정확도-비용 비교를 수집하고, 이를 이질적인 논문 간 증거와 구분하며, 오디오비주얼 효율성과 표준화된 평가의 격차를 식별한다. 우리는 https://github.com/momentslab/awesome-efficient-videollm 에 저장소를 유지 관리한다.

English

Video understanding has rapidly evolved toward video large language models (VideoLLMs): systems that couple video representations with pretrained large language models and condition generation on a textual prompt. Their strong performance on captioning, question answering, retrieval and temporal grounding comes at a computation and memory cost that grows with frame count and context length, limiting deployment in real-time, mobile and resource-constrained settings. This survey covers inference-efficiency mechanisms for visual and audiovisual VideoLLMs that report concrete reductions in parameter count, FLOPs per input, latency, memory, or visual and audio token count. We analyze bottlenecks across frame sampling, modality encoding, connector-level token reduction, and LLM prefilling and decoding. We organize methods by the pipeline stage at which they act, covering VideoLLMs developed since late 2022 together with earlier frame-sampling and vision-encoder mechanisms that remain components of current pipelines. We assemble literature-reported accuracy--cost comparisons under shared host models and input protocols wherever available, distinguish them from heterogeneous cross-paper evidence, and identify gaps in audiovisual efficiency and standardized evaluation. We maintain a repository at https://github.com/momentslab/awesome-efficient-videollm.