MovieCORE: 영화 속 인지적 추론

초록

본 논문은 영화 콘텐츠에 대한 더 깊은 인지적 이해를 탐구하기 위해 설계된 새로운 비디오 질의응답(VQA) 데이터셋인 MovieCORE를 소개합니다. 기존 데이터셋들이 표면적인 이해에 초점을 맞추는 것과 달리, MovieCORE는 비디오 자료에 특화된 상태에서 시스템-2 사고를 활성화하는 질문들을 강조합니다. 우리는 여러 대형 언어 모델(LLM)을 사고 에이전트로 활용하여 고품질의 질문-답변 쌍을 생성하고 개선하는 혁신적인 에이전트 기반 브레인스토밍 접근 방식을 제시합니다. 데이터셋의 품질을 평가하기 위해, 우리는 깊이, 사고 자극 잠재력, 구문적 복잡성을 평가하는 일련의 인지 테스트를 개발했습니다. 또한, 더 깊은 인지적 과제에서 VQA 모델의 성능을 평가하기 위한 포괄적인 평가 체계를 제안합니다. 기존 비디오-언어 모델(VLM)의 한계를 해결하기 위해, 우리는 에이전트 선택 강화(Agentic Choice Enhancement, ACE)라는 에이전트 기반 강화 모듈을 도입하여, 훈련 후 모델의 추론 능력을 최대 25%까지 향상시킵니다. 우리의 연구는 AI 시스템의 영화 이해를 진보시키는 데 기여하며, 영화 콘텐츠에 대한 더 도전적이고 미묘한 질문에 직면했을 때 현재 VQA 모델의 능력과 한계에 대한 귀중한 통찰을 제공합니다. 우리의 프로젝트 페이지, 데이터셋 및 코드는 https://joslefaure.github.io/assets/html/moviecore.html에서 확인할 수 있습니다.

English

This paper introduces MovieCORE, a novel video question answering (VQA) dataset designed to probe deeper cognitive understanding of movie content. Unlike existing datasets that focus on surface-level comprehension, MovieCORE emphasizes questions that engage System-2 thinking while remaining specific to the video material. We present an innovative agentic brainstorming approach, utilizing multiple large language models (LLMs) as thought agents to generate and refine high-quality question-answer pairs. To evaluate dataset quality, we develop a set of cognitive tests assessing depth, thought-provocation potential, and syntactic complexity. We also propose a comprehensive evaluation scheme for assessing VQA model performance on deeper cognitive tasks. To address the limitations of existing video-language models (VLMs), we introduce an agentic enhancement module, Agentic Choice Enhancement (ACE), which improves model reasoning capabilities post-training by up to 25%. Our work contributes to advancing movie understanding in AI systems and provides valuable insights into the capabilities and limitations of current VQA models when faced with more challenging, nuanced questions about cinematic content. Our project page, dataset and code can be found at https://joslefaure.github.io/assets/html/moviecore.html.

MovieCORE: 영화 속 인지적 추론

MovieCORE: COgnitive REasoning in Movies

초록

Support