AniMaker: Geautomatiseerd Multi-Agent Animatiefilmverhaal met MCTS-Gestuurde Clipgeneratie

AniMaker: Automated Multi-Agent Animated Storytelling with MCTS-Driven Clip Generation

June 12, 2025

Auteurs: Haoyuan Shi, Yunxin Li, Xinyu Chen, Longyue Wang, Baotian Hu, Min Zhang

cs.AI

Samenvatting

Ondanks snelle vooruitgang in videogeneratiemodellen, blijft het genereren van samenhangende verhalende video's die meerdere scènes en personages omvatten een uitdaging. Huidige methoden zetten vaak vooraf gegenereerde keyframes rigide om in clips met vaste lengte, wat resulteert in onsamenhangende verhalen en pacingproblemen. Bovendien betekent de inherente instabiliteit van videogeneratiemodellen dat zelfs een enkele kwalitatief slechte clip de logische samenhang en visuele continuïteit van de gehele outputanimatie aanzienlijk kan aantasten. Om deze obstakels te overwinnen, introduceren we AniMaker, een multi-agent framework dat efficiënte generatie van meerdere clipkandidaten en storytellingbewuste clipselectie mogelijk maakt, waardoor wereldwijd consistente en verhalend samenhangende animatie uitsluitend vanuit tekstinput wordt gecreëerd. Het framework is gestructureerd rond gespecialiseerde agents, waaronder de Director Agent voor storyboardgeneratie, de Photography Agent voor videoclipgeneratie, de Reviewer Agent voor evaluatie, en de Post-Production Agent voor bewerking en voiceover. Centraal in de aanpak van AniMaker staan twee belangrijke technische componenten: MCTS-Gen in de Photography Agent, een efficiënte Monte Carlo Tree Search (MCTS)-geïnspireerde strategie die intelligent door de kandidaatruimte navigeert om hoogwaardige clips te genereren terwijl het resourcegebruik wordt geoptimaliseerd; en AniEval in de Reviewer Agent, het eerste framework specifiek ontworpen voor evaluatie van multi-shot animatie, dat kritieke aspecten beoordeelt zoals verhalingsniveauconsistentie, actievoltooiing en animatiespecifieke kenmerken door elke clip in de context van zijn voorgaande en volgende clips te beschouwen. Experimenten tonen aan dat AniMaker superieure kwaliteit bereikt zoals gemeten door populaire metrieken, waaronder VBench en ons voorgestelde AniEval-framework, terwijl de efficiëntie van multi-kandidaatgeneratie aanzienlijk wordt verbeterd, waardoor AI-gegenereerde verhalende animatie dichter bij productiestandaarden komt.

English

Despite rapid advancements in video generation models, generating coherent storytelling videos that span multiple scenes and characters remains challenging. Current methods often rigidly convert pre-generated keyframes into fixed-length clips, resulting in disjointed narratives and pacing issues. Furthermore, the inherent instability of video generation models means that even a single low-quality clip can significantly degrade the entire output animation's logical coherence and visual continuity. To overcome these obstacles, we introduce AniMaker, a multi-agent framework enabling efficient multi-candidate clip generation and storytelling-aware clip selection, thus creating globally consistent and story-coherent animation solely from text input. The framework is structured around specialized agents, including the Director Agent for storyboard generation, the Photography Agent for video clip generation, the Reviewer Agent for evaluation, and the Post-Production Agent for editing and voiceover. Central to AniMaker's approach are two key technical components: MCTS-Gen in Photography Agent, an efficient Monte Carlo Tree Search (MCTS)-inspired strategy that intelligently navigates the candidate space to generate high-potential clips while optimizing resource usage; and AniEval in Reviewer Agent, the first framework specifically designed for multi-shot animation evaluation, which assesses critical aspects such as story-level consistency, action completion, and animation-specific features by considering each clip in the context of its preceding and succeeding clips. Experiments demonstrate that AniMaker achieves superior quality as measured by popular metrics including VBench and our proposed AniEval framework, while significantly improving the efficiency of multi-candidate generation, pushing AI-generated storytelling animation closer to production standards.