AVA-Encoder: 에이전트-네이티브 비디오 표현 학습을 향하여

초록

창의적 에이전트는 여전히 고품질 인간 영화로부터 학습할 효과적인 수단이 부족하여, 영화 수준의 비디오를 생성하는 능력이 제한된다. 핵심 과제는 영화 콘텐츠에 충실하면서도 에이전트의 추론과 조작에 직접 사용할 수 있는 구조화된 비디오 표현이 없다는 점이다. 이러한 과제를 해결하기 위해, 우리는 에이전트형 자동 인코딩을 통해 에이전트 고유의 비디오 표현을 학습하는 프레임워크인 에이전트형 비디오 오토인코더(AVA-Encoder)를 제안한다. AVA-Encoder는 비디오를 지식 그래프(KG) 표현으로 변환한 후 다시 비디오로 재구성한다. KG의 계층 구조 및 상태 노드는 구조화된 텍스트를 저장하고, 연결된 에셋 레이어는 생성된 이미지, 오디오, 비디오를 보유한다. 유형화된 엣지는 이러한 텍스트 설명과 에셋 간의 관계를 에이전트가 쉽게 이해하고 질의하며 편집할 수 있는 형태로 보존한다. 비디오 재구성 차이는 텍스트 그래디언트 최적화 프레임워크를 구동하며, 이 프레임워크는 평가 피드백을 외부 루프에서 데이터 독립적 인코딩 정책 의사 훈련(Data-Independent Encoding Policy Pseudo-Training)을 위한 자연어 업데이트 방향으로 표현하고, 테스트 시 내부 루프에서 선택적으로 데이터 종속 KG 표현 정제(Data-Dependent KG Representation Refinement)를 수행한다. 광범위한 실험을 통해 AVA-Encoder는 가장 강력한 외부 베이스라인 대비 20.7퍼센트 포인트의 성능 향상을 보였다. 통제된 정책 전용 설정에서, 의사 훈련된 샷 수준 에이전트형 비디오 인코더 정책은 인간이 세심하게 튜닝한 정책을 능가하면서도 시스템 프롬프트 토큰을 74.3% 적게 사용했다. 우리는 완전한 AVA-Encoder 프레임워크, 신뢰할 수 있는 에이전트형 비디오 재구성 벤치마크, 그리고 고품질 영화 KG 표현으로 구성된 최초의 데이터셋을 공개한다.

English

Creative agents still lack an effective way to learn from high-quality human films, limiting their ability to produce cinematic-grade videos. A key challenge is the absence of a structured video representation that is both faithful to film content and directly usable for agentic reasoning and manipulation. To address the challenge, we propose the Agentic Video Auto-Encoder (AVA-Encoder), a framework for learning agent-native video representations via agentic auto-encoding. AVA-Encoder transforms a video into a knowledge graph (KG) representation and then reconstructs it back into video. Its hierarchy and state nodes store structured text, while a linked asset layer holds generated images, audio, and video. Typed edges preserve the relations between these text descriptions and assets in a form that agents can easily understand, query, and edit. The video reconstruction differences drive a textual-gradient optimization framework, which expresses evaluation feedback as natural-language update directions for Data-Independent Encoding Policy Pseudo-Training in the outer loop and optional Data-Dependent KG Representation Refinement in the test-time inner loop. Extensive experiments show that AVA-Encoder improves by 20.7 percentage points over the strongest external baseline. In the controlled policy-only setting, its pseudo-trained shot-level Agentic Video Encoder policy also outperforms a carefully human-tuned policy while using 74.3% fewer system-prompt tokens. We release the complete AVA-Encoder framework, a reliable agentic video reconstruction benchmark, and the first dataset of high-quality film KG representations.