AnyMoLe: Interpolação de Movimento de Qualquer Personagem Utilizando Modelos de Difusão de Vídeo

AnyMoLe: Any Character Motion In-betweening Leveraging Video Diffusion Models

March 11, 2025

Autores: Kwan Yun, Seokhyeon Hong, Chaelin Kim, Junyong Noh

cs.AI

Resumo

Apesar dos avanços recentes na interpolação de movimento baseada em aprendizado, uma limitação fundamental tem sido negligenciada: a necessidade de conjuntos de dados específicos para cada personagem. Neste trabalho, introduzimos o AnyMoLe, um método inovador que aborda essa limitação ao aproveitar modelos de difusão de vídeo para gerar quadros intermediários de movimento para personagens arbitrários sem dados externos. Nossa abordagem emprega um processo de geração de quadros em duas etapas para aprimorar a compreensão contextual. Além disso, para reduzir a lacuna de domínio entre animações de personagens do mundo real e renderizadas, introduzimos o ICAdapt, uma técnica de ajuste fino para modelos de difusão de vídeo. Adicionalmente, propomos uma técnica de otimização de "imitação de movimento-vídeo", permitindo a geração contínua de movimento para personagens com estruturas articulares arbitrárias utilizando recursos 2D e 3D. O AnyMoLe reduz significativamente a dependência de dados enquanto gera transições suaves e realistas, tornando-o aplicável a uma ampla gama de tarefas de interpolação de movimento.

English

Despite recent advancements in learning-based motion in-betweening, a key limitation has been overlooked: the requirement for character-specific datasets. In this work, we introduce AnyMoLe, a novel method that addresses this limitation by leveraging video diffusion models to generate motion in-between frames for arbitrary characters without external data. Our approach employs a two-stage frame generation process to enhance contextual understanding. Furthermore, to bridge the domain gap between real-world and rendered character animations, we introduce ICAdapt, a fine-tuning technique for video diffusion models. Additionally, we propose a ``motion-video mimicking'' optimization technique, enabling seamless motion generation for characters with arbitrary joint structures using 2D and 3D-aware features. AnyMoLe significantly reduces data dependency while generating smooth and realistic transitions, making it applicable to a wide range of motion in-betweening tasks.