OmniAssistBench: 옴니 LLM을 위한 어시스턴트형 인터랙션 벤치마크

초록

최근 옴니모달 대규모 언어 모델(Omni-LLM)은 환경을 지속적으로 지각하고 사용자가 특정 목표를 달성하도록 안내하는 실시간 비디오 어시스턴트로서 큰 잠재력을 보여주고 있다. 전통적인 수동적 비디오 이해와 달리, 대화형 어시스턴트는 시각 상태, 사용자 목표, 사전 지식을 능동적으로 결합하여 효과적인 도움을 제공해야 한다. 이러한 평가는 모델의 예측 불가능한 응답이 사용자의 후속 행동을 동적으로 변화시키기 때문에 상당히 어려우며, 정적 오프라인 데이터셋으로는 이를 수용할 수 없다. 이 병목 현상을 해결하기 위해 우리는 OmniAssistBench를 소개한다. 동일한 사용자 목표가 다양한 방법으로 달성될 수 있는 상호작용 경로의 분기 문제를 해결하기 위해, 우리는 모델에 원본 비디오에서 파생된 사전 정의된 사전 정보를 제공하여 사용자가 정확히 동일한 경로를 따라 안내받도록 요구한다. 실제 상호작용 비디오는 드물기 때문에, 우리는 기존 인터넷 비디오를 역공학하여 데이터셋을 구축한다. 논리적 사용자 목표를 추론하고 비디오를 다중 턴 클립으로 분할하여 연속적인 상호작용을 시뮬레이션한다. 이러한 엄격한 파이프라인은 데이터셋 구축에 1000시간 이상의 전문가 작업 시간을 요구했다. 결과에 따르면 독점 모델인 Gemini-3-Pro는 100점 만점에 66.4점에 도달했으며, 오픈소스 모델인 Qwen3-Omni-Instruct는 51.2점을 달성했다. 현재 모델은 일반적으로 사용자 입력을 이해하지만, 부정확하거나 불완전한 답변을 자주 제공한다. 구체적으로, 모델은 시각적 프롬프트(예: 손짓)에 어려움을 겪고, 다중 턴 상호작용 중 과거 맥락을 유지하지 못하며, 대상 이벤트가 발생할 때까지 응답을 지연하지 못한다. 이러한 결과는 모델이 신뢰할 수 있는 어시스턴트가 되기 전에 상당한 개선 여지가 있음을 시사한다.

English

Recent omni-modal large language models (Omni-LLMs) show great potential as real-time video assistants, which continuously perceive environments and guide users to achieve specific goals. Unlike traditional passive video understanding, interactive assistants should actively combine visual states, user goals, and prior knowledge to provide effective help. Evaluating this is rather challenging, as the model's unpredictable response dynamically changes the user's subsequent actions, which static offline datasets cannot accommodate. To address this bottleneck, we introduce OmniAssistBench. To solve the issue of diverging interaction paths where the same user goal can be achieved through various methods, we provide models with predefined priors derived from the source video, requiring them to guide users along the exact same routes. Since real interaction videos are rare, we construct the dataset by reverse-engineering existing Internet videos. We deduce logical user goals and segment the videos into multi-turn clips to simulate continuous interactions. This rigorous pipeline required over 1000 expert person-hours to build the dataset. Results show that the proprietary Gemini-3-Pro reaches 66.4 out of the max point of 100, while the open-source Qwen3-Omni-Instruct achieves 51.2. Although current models generally understand user inputs, they frequently provide incorrect or incomplete answers. Specifically, they struggle with visual prompts (e.g., hand gestures), fail to maintain historical context during multi-turn interactions, and fail to delay response until the target event. Results indicate substantial room for improvement before models can become reliable assistants.