AniMaker : Création Automatisée de Récits Animés Multi-Agents avec Génération de Séquences Pilotée par MCTS

AniMaker: Automated Multi-Agent Animated Storytelling with MCTS-Driven Clip Generation

June 12, 2025

Auteurs: Haoyuan Shi, Yunxin Li, Xinyu Chen, Longyue Wang, Baotian Hu, Min Zhang

cs.AI

Résumé

Malgré les avancées rapides des modèles de génération vidéo, la création de vidéos narratives cohérentes couvrant plusieurs scènes et personnages reste un défi. Les méthodes actuelles convertissent souvent de manière rigide des images clés pré-générées en clips de durée fixe, ce qui entraîne des récits décousus et des problèmes de rythme. De plus, l'instabilité inhérente des modèles de génération vidéo signifie qu'un seul clip de faible qualité peut considérablement dégrader la cohérence logique et la continuité visuelle de l'animation entière. Pour surmonter ces obstacles, nous présentons AniMaker, un cadre multi-agents permettant une génération efficace de clips multi-candidats et une sélection de clips consciente de la narration, créant ainsi des animations globalement cohérentes et alignées avec l'histoire uniquement à partir d'une entrée texte. Le cadre est structuré autour d'agents spécialisés, incluant l'Agent Réalisateur pour la génération de storyboards, l'Agent Photographie pour la génération de clips vidéo, l'Agent Évaluateur pour l'évaluation, et l'Agent Post-Production pour le montage et le doublage. Au cœur de l'approche d'AniMaker se trouvent deux composants techniques clés : MCTS-Gen dans l'Agent Photographie, une stratégie inspirée de la recherche arborescente Monte Carlo (MCTS) qui navigue intelligemment dans l'espace des candidats pour générer des clips à fort potentiel tout en optimisant l'utilisation des ressources ; et AniEval dans l'Agent Évaluateur, le premier cadre spécifiquement conçu pour l'évaluation d'animations multi-plans, qui évalue des aspects critiques tels que la cohérence au niveau de l'histoire, l'achèvement des actions, et les caractéristiques spécifiques à l'animation en considérant chaque clip dans le contexte de ses clips précédents et suivants. Les expériences démontrent qu'AniMaker atteint une qualité supérieure mesurée par des métriques populaires incluant VBench et notre cadre AniEval proposé, tout en améliorant significativement l'efficacité de la génération multi-candidats, rapprochant ainsi l'animation narrative générée par IA des standards de production.

English

Despite rapid advancements in video generation models, generating coherent storytelling videos that span multiple scenes and characters remains challenging. Current methods often rigidly convert pre-generated keyframes into fixed-length clips, resulting in disjointed narratives and pacing issues. Furthermore, the inherent instability of video generation models means that even a single low-quality clip can significantly degrade the entire output animation's logical coherence and visual continuity. To overcome these obstacles, we introduce AniMaker, a multi-agent framework enabling efficient multi-candidate clip generation and storytelling-aware clip selection, thus creating globally consistent and story-coherent animation solely from text input. The framework is structured around specialized agents, including the Director Agent for storyboard generation, the Photography Agent for video clip generation, the Reviewer Agent for evaluation, and the Post-Production Agent for editing and voiceover. Central to AniMaker's approach are two key technical components: MCTS-Gen in Photography Agent, an efficient Monte Carlo Tree Search (MCTS)-inspired strategy that intelligently navigates the candidate space to generate high-potential clips while optimizing resource usage; and AniEval in Reviewer Agent, the first framework specifically designed for multi-shot animation evaluation, which assesses critical aspects such as story-level consistency, action completion, and animation-specific features by considering each clip in the context of its preceding and succeeding clips. Experiments demonstrate that AniMaker achieves superior quality as measured by popular metrics including VBench and our proposed AniEval framework, while significantly improving the efficiency of multi-candidate generation, pushing AI-generated storytelling animation closer to production standards.