AniMaker: Automatisierte Multi-Agenten-Animation mit MCTS-gesteuerter Clip-Generierung

AniMaker: Automated Multi-Agent Animated Storytelling with MCTS-Driven Clip Generation

June 12, 2025

Autoren: Haoyuan Shi, Yunxin Li, Xinyu Chen, Longyue Wang, Baotian Hu, Min Zhang

cs.AI

Zusammenfassung

Trotz rasanter Fortschritte bei Videogenerierungsmodellen bleibt die Erzeugung kohärenter erzählerischer Videos, die mehrere Szenen und Charaktere umfassen, eine Herausforderung. Aktuelle Methoden konvertieren oft vorgefertigte Keyframes starr in Clips fester Länge, was zu zusammenhanglosen Erzählungen und Tempoproblemen führt. Darüber hinaus bedeutet die inhärente Instabilität von Videogenerierungsmodellen, dass bereits ein einziger qualitativ minderwertiger Clip die logische Kohärenz und visuelle Kontinuität der gesamten Ausgabeanimation erheblich beeinträchtigen kann. Um diese Hindernisse zu überwinden, stellen wir AniMaker vor, ein Multi-Agenten-Framework, das eine effiziente Generierung mehrerer Clip-Kandidaten und eine erzählungsbewusste Clip-Auswahl ermöglicht und somit global konsistente und erzählerisch kohärente Animationen allein aus Texteingaben erzeugt. Das Framework ist um spezialisierte Agenten strukturiert, darunter den Director Agent für die Erstellung von Storyboards, den Photography Agent für die Generierung von Videoclips, den Reviewer Agent für die Bewertung und den Post-Production Agent für die Bearbeitung und Sprachaufnahmen. Zentral für den Ansatz von AniMaker sind zwei Schlüsselkomponenten: MCTS-Gen im Photography Agent, eine effiziente, vom Monte-Carlo-Baumsuchverfahren (MCTS) inspirierte Strategie, die den Kandidatenraum intelligent durchsucht, um Clips mit hohem Potenzial zu generieren und dabei die Ressourcennutzung zu optimieren; und AniEval im Reviewer Agent, das erste Framework, das speziell für die Bewertung von Mehrschussanimationen entwickelt wurde und kritische Aspekte wie konsistente Erzählung, Handlungsabschluss und animationsspezifische Merkmale bewertet, indem jeder Clip im Kontext seiner vorhergehenden und nachfolgenden Clips betrachtet wird. Experimente zeigen, dass AniMaker eine überlegene Qualität gemessen an gängigen Metriken wie VBench und unserem vorgeschlagenen AniEval-Framework erreicht, während es die Effizienz der Generierung mehrerer Kandidaten erheblich verbessert und damit KI-generierte erzählerische Animationen näher an Produktionsstandards heranführt.

English

Despite rapid advancements in video generation models, generating coherent storytelling videos that span multiple scenes and characters remains challenging. Current methods often rigidly convert pre-generated keyframes into fixed-length clips, resulting in disjointed narratives and pacing issues. Furthermore, the inherent instability of video generation models means that even a single low-quality clip can significantly degrade the entire output animation's logical coherence and visual continuity. To overcome these obstacles, we introduce AniMaker, a multi-agent framework enabling efficient multi-candidate clip generation and storytelling-aware clip selection, thus creating globally consistent and story-coherent animation solely from text input. The framework is structured around specialized agents, including the Director Agent for storyboard generation, the Photography Agent for video clip generation, the Reviewer Agent for evaluation, and the Post-Production Agent for editing and voiceover. Central to AniMaker's approach are two key technical components: MCTS-Gen in Photography Agent, an efficient Monte Carlo Tree Search (MCTS)-inspired strategy that intelligently navigates the candidate space to generate high-potential clips while optimizing resource usage; and AniEval in Reviewer Agent, the first framework specifically designed for multi-shot animation evaluation, which assesses critical aspects such as story-level consistency, action completion, and animation-specific features by considering each clip in the context of its preceding and succeeding clips. Experiments demonstrate that AniMaker achieves superior quality as measured by popular metrics including VBench and our proposed AniEval framework, while significantly improving the efficiency of multi-candidate generation, pushing AI-generated storytelling animation closer to production standards.