AniMaker: Narrazione Animata Multi-Agente Automatica con Generazione di Clip Guidata da MCTS

AniMaker: Automated Multi-Agent Animated Storytelling with MCTS-Driven Clip Generation

June 12, 2025

Autori: Haoyuan Shi, Yunxin Li, Xinyu Chen, Longyue Wang, Baotian Hu, Min Zhang

cs.AI

Abstract

Nonostante i rapidi progressi nei modelli di generazione video, creare video narrativi coerenti che si estendono su più scene e personaggi rimane una sfida. I metodi attuali spesso convertono rigidamente fotogrammi chiave pre-generati in clip di lunghezza fissa, risultando in narrazioni disgiunte e problemi di ritmo. Inoltre, l'instabilità intrinseca dei modelli di generazione video significa che anche una singola clip di bassa qualità può degradare significativamente la coerenza logica e la continuità visiva dell'intera animazione. Per superare questi ostacoli, introduciamo AniMaker, un framework multi-agente che consente una generazione efficiente di clip multi-candidato e una selezione di clip consapevole della narrazione, creando così animazioni globalmente consistenti e coerenti con la storia esclusivamente da input testuali. Il framework è strutturato attorno a agenti specializzati, tra cui il Director Agent per la generazione dello storyboard, il Photography Agent per la generazione delle clip video, il Reviewer Agent per la valutazione e il Post-Production Agent per l'editing e il doppiaggio. Al centro dell'approccio di AniMaker ci sono due componenti tecnici chiave: MCTS-Gen nel Photography Agent, una strategia efficiente ispirata al Monte Carlo Tree Search (MCTS) che naviga in modo intelligente lo spazio dei candidati per generare clip ad alto potenziale ottimizzando l'uso delle risorse; e AniEval nel Reviewer Agent, il primo framework specificamente progettato per la valutazione di animazioni multi-shot, che valuta aspetti critici come la coerenza a livello di storia, il completamento delle azioni e le caratteristiche specifiche dell'animazione considerando ogni clip nel contesto delle clip precedenti e successive. Gli esperimenti dimostrano che AniMaker raggiunge una qualità superiore misurata da metriche popolari come VBench e il nostro framework AniEval proposto, migliorando significativamente l'efficienza della generazione multi-candidato e avvicinando l'animazione narrativa generata dall'IA agli standard di produzione.

English

Despite rapid advancements in video generation models, generating coherent storytelling videos that span multiple scenes and characters remains challenging. Current methods often rigidly convert pre-generated keyframes into fixed-length clips, resulting in disjointed narratives and pacing issues. Furthermore, the inherent instability of video generation models means that even a single low-quality clip can significantly degrade the entire output animation's logical coherence and visual continuity. To overcome these obstacles, we introduce AniMaker, a multi-agent framework enabling efficient multi-candidate clip generation and storytelling-aware clip selection, thus creating globally consistent and story-coherent animation solely from text input. The framework is structured around specialized agents, including the Director Agent for storyboard generation, the Photography Agent for video clip generation, the Reviewer Agent for evaluation, and the Post-Production Agent for editing and voiceover. Central to AniMaker's approach are two key technical components: MCTS-Gen in Photography Agent, an efficient Monte Carlo Tree Search (MCTS)-inspired strategy that intelligently navigates the candidate space to generate high-potential clips while optimizing resource usage; and AniEval in Reviewer Agent, the first framework specifically designed for multi-shot animation evaluation, which assesses critical aspects such as story-level consistency, action completion, and animation-specific features by considering each clip in the context of its preceding and succeeding clips. Experiments demonstrate that AniMaker achieves superior quality as measured by popular metrics including VBench and our proposed AniEval framework, while significantly improving the efficiency of multi-candidate generation, pushing AI-generated storytelling animation closer to production standards.