AniMaker: Narrativa Animada Multiagente Automatizada com Geração de Clipes Orientada por MCTS

AniMaker: Automated Multi-Agent Animated Storytelling with MCTS-Driven Clip Generation

June 12, 2025

Autores: Haoyuan Shi, Yunxin Li, Xinyu Chen, Longyue Wang, Baotian Hu, Min Zhang

cs.AI

Resumo

Apesar dos rápidos avanços nos modelos de geração de vídeo, a criação de vídeos narrativos coerentes que abrangem múltiplas cenas e personagens continua sendo um desafio. Os métodos atuais frequentemente convertem de forma rígida keyframes pré-gerados em clipes de duração fixa, resultando em narrativas desconexas e problemas de ritmo. Além disso, a instabilidade inerente dos modelos de geração de vídeo significa que mesmo um único clipe de baixa qualidade pode degradar significativamente a coerência lógica e a continuidade visual de toda a animação gerada. Para superar esses obstáculos, apresentamos o AniMaker, uma estrutura multiagente que permite a geração eficiente de múltiplos candidatos de clipes e a seleção de clipes consciente da narrativa, criando assim animações globalmente consistentes e coerentes com a história a partir apenas de entrada de texto. A estrutura é organizada em torno de agentes especializados, incluindo o Agente Diretor para geração de storyboard, o Agente Fotografia para geração de clipes de vídeo, o Agente Revisor para avaliação e o Agente Pós-Produção para edição e narração. Centrais para a abordagem do AniMaker são dois componentes técnicos principais: o MCTS-Gen no Agente Fotografia, uma estratégia eficiente inspirada na Busca em Árvore de Monte Carlo (MCTS) que navega inteligentemente pelo espaço de candidatos para gerar clipes de alto potencial enquanto otimiza o uso de recursos; e o AniEval no Agente Revisor, a primeira estrutura especificamente projetada para avaliação de animações multi-shot, que avalia aspectos críticos como consistência no nível da história, conclusão de ações e características específicas da animação, considerando cada clipe no contexto de seus clipes precedentes e subsequentes. Experimentos demonstram que o AniMaker alcança qualidade superior conforme medido por métricas populares, incluindo o VBench e nossa estrutura proposta AniEval, enquanto melhora significativamente a eficiência da geração de múltiplos candidatos, aproximando a animação narrativa gerada por IA dos padrões de produção.

English

Despite rapid advancements in video generation models, generating coherent storytelling videos that span multiple scenes and characters remains challenging. Current methods often rigidly convert pre-generated keyframes into fixed-length clips, resulting in disjointed narratives and pacing issues. Furthermore, the inherent instability of video generation models means that even a single low-quality clip can significantly degrade the entire output animation's logical coherence and visual continuity. To overcome these obstacles, we introduce AniMaker, a multi-agent framework enabling efficient multi-candidate clip generation and storytelling-aware clip selection, thus creating globally consistent and story-coherent animation solely from text input. The framework is structured around specialized agents, including the Director Agent for storyboard generation, the Photography Agent for video clip generation, the Reviewer Agent for evaluation, and the Post-Production Agent for editing and voiceover. Central to AniMaker's approach are two key technical components: MCTS-Gen in Photography Agent, an efficient Monte Carlo Tree Search (MCTS)-inspired strategy that intelligently navigates the candidate space to generate high-potential clips while optimizing resource usage; and AniEval in Reviewer Agent, the first framework specifically designed for multi-shot animation evaluation, which assesses critical aspects such as story-level consistency, action completion, and animation-specific features by considering each clip in the context of its preceding and succeeding clips. Experiments demonstrate that AniMaker achieves superior quality as measured by popular metrics including VBench and our proposed AniEval framework, while significantly improving the efficiency of multi-candidate generation, pushing AI-generated storytelling animation closer to production standards.