증거 기반 비디오 질의응답

초록

현재 비디오 대규모 언어 모델(Video LLM)은 질의 응답(QA)에서 뛰어난 성능을 보이지만 대부분 블랙박스로 작동하며, 검증 가능한 시각적 근거 없이 텍스트 형태의 답변만 제공한다. 기존의 설명 가능성 연구는 텍스트 기반 근거나 희소한 경계 상자에 의존하는데, 이는 폐색 및 비강체 변형과 같은 복잡한 비디오 역학을 포착하는 데 한계가 있다. 본 연구에서는 모델이 의미론적 답변과 정밀한 시공간적 근거, 즉 시간적 세그먼트와 밀집 추적 객체 분할 마스크릿을 함께 출력해야 하는 새로운 과제인 근거 기반 비디오 질의 응답(E-VQA)을 제안한다. 이를 지원하기 위해 판별적 및 생성적 픽셀 수준 근거 모두에 대한 최초의 인간 검증 벤치마크인 ST-근거(ST-Evidence)를 소개한다. 최신 모델에 대한 평가는 QA 정확도와 실제 시각적 인식 사이에 심각한 분리가 존재하며, 단순한 스케일링만으로는 이를 연결할 수 없음을 밝혀낸다. 이 문제를 해결하기 위해 확장 가능한 자동 생성 파이프라인을 개발하여 고수준 추론과 세분화된 근거를 연결하는 16만 규모 데이터셋인 ST-근거-명령(ST-Evidence-Instruct)을 구축한다. 이 데이터로 근거 기반 비디오 LLM을 미세 조정한 결과, 동일한 크기의 UniPixel 기준선에 비해 상당한 성능 향상(예: 7B 모델에서 t-평균 +27.2, J&F +13.8)을 보였으며, 이는 설명 가능하고 근거에 기반한 비디오 이해를 위한 강력한 기준선을 확립한다. 코드와 데이터는 https://github.com/SalesforceAIResearch/EVQA에서 제공된다.

English

Current Video Large Language Models (Video LLMs) excel in question answering (QA) but largely operate as black boxes, providing textual answers without verifiable visual grounding. Existing explainability efforts rely on textual rationales or sparse bounding boxes, which struggle to capture complex video dynamics such as occlusions and non-rigid deformations. We propose Evidence-Backed Video Question Answering (E-VQA), a novel task requiring models to jointly output a semantic answer and precise spatio-temporal evidence: temporal segments and dense, tracked object segmentation masklets. To support this, we introduce ST-Evidence, the first human-verified benchmark for both discriminative and generative pixel-level grounding. Evaluations of state-of-the-art models reveal a critical decoupling between QA accuracy and true visual perception that scaling alone fails to bridge. To address this, we develop scalable, automated generation pipelines to create ST-Evidence-Instruct, a 160k-scale dataset bridging high-level reasoning with fine-grained grounding. Fine-tuning grounded Video LLMs on this data yields substantial gains over the corresponding size-matched UniPixel baselines (e.g., +27.2 t-mean and +13.8 J&F on a 7B model), establishing a robust baseline for explainable, evidence-backed video understanding. Code and data are available at https://github.com/SalesforceAIResearch/EVQA.