AnyMoLe: Интерполяция движений любого персонажа с использованием моделей диффузии видео

AnyMoLe: Any Character Motion In-betweening Leveraging Video Diffusion Models

March 11, 2025

Авторы: Kwan Yun, Seokhyeon Hong, Chaelin Kim, Junyong Noh

cs.AI

Аннотация

Несмотря на недавние достижения в области обучения для создания промежуточных движений, ключевое ограничение осталось незамеченным: необходимость в наборах данных, специфичных для конкретных персонажей. В данной работе мы представляем AnyMoLe — новый метод, который устраняет это ограничение, используя модели диффузии видео для генерации промежуточных кадров движения для произвольных персонажей без внешних данных. Наш подход включает двухэтапный процесс генерации кадров для улучшения контекстуального понимания. Кроме того, чтобы преодолеть разрыв между анимацией персонажей в реальном мире и визуализированной анимацией, мы представляем ICAdapt — метод тонкой настройки моделей диффузии видео. Дополнительно мы предлагаем технику оптимизации «имитации движения и видео», которая позволяет создавать плавные движения для персонажей с произвольной структурой суставов, используя 2D и 3D-ориентированные признаки. AnyMoLe значительно снижает зависимость от данных, генерируя плавные и реалистичные переходы, что делает его применимым для широкого спектра задач создания промежуточных движений.

English

Despite recent advancements in learning-based motion in-betweening, a key limitation has been overlooked: the requirement for character-specific datasets. In this work, we introduce AnyMoLe, a novel method that addresses this limitation by leveraging video diffusion models to generate motion in-between frames for arbitrary characters without external data. Our approach employs a two-stage frame generation process to enhance contextual understanding. Furthermore, to bridge the domain gap between real-world and rendered character animations, we introduce ICAdapt, a fine-tuning technique for video diffusion models. Additionally, we propose a ``motion-video mimicking'' optimization technique, enabling seamless motion generation for characters with arbitrary joint structures using 2D and 3D-aware features. AnyMoLe significantly reduces data dependency while generating smooth and realistic transitions, making it applicable to a wide range of motion in-betweening tasks.