Синтез взаимодействия автономных персонажей и сцены по текстовым инструкциям

Autonomous Character-Scene Interaction Synthesis from Text Instruction

October 4, 2024

Авторы: Nan Jiang, Zimo He, Zi Wang, Hongjie Li, Yixin Chen, Siyuan Huang, Yixin Zhu

cs.AI

Аннотация

Синтезирование движений человека в 3D окружениях, особенно тех, которые включают сложные действия, такие как передвижение, досягивание рукой и взаимодействие человека с объектами, предъявляет значительные требования к пользовательским точкам маршрута и переходам между этапами. Эти требования создают вызовы для текущих моделей, что приводит к значительному разрыву в автоматизации анимации персонажей на основе простых человеческих вводов. В данной статье рассматривается данное проблемное положение путем представления комплексной структуры для синтеза многоэтапных движений взаимодействия с окружением напрямую из одной текстовой инструкции и целевого местоположения. Наш подход использует авторегрессионную модель диффузии для синтеза следующего сегмента движения, а также автономный планировщик, предсказывающий переход для каждого этапа действия. Для обеспечения бесшовной интеграции синтезированных движений в окружение мы предлагаем представление сцены, учитывающее локальное восприятие как в начальной, так и в целевой точке. Мы дополнительно улучшаем последовательность сгенерированного движения путем интеграции встраиваний кадров с языковым вводом. Кроме того, для поддержки обучения модели мы представляем обширный набор данных, содержащий 16 часов последовательностей движения в 120 внутренних сценах, охватывающих 40 типов движений, каждое из которых аннотировано точными языковыми описаниями. Экспериментальные результаты демонстрируют эффективность нашего метода в генерации высококачественных многоэтапных движений, тесно соответствующих окружающим и текстовым условиям.

English

Synthesizing human motions in 3D environments, particularly those with complex activities such as locomotion, hand-reaching, and human-object interaction, presents substantial demands for user-defined waypoints and stage transitions. These requirements pose challenges for current models, leading to a notable gap in automating the animation of characters from simple human inputs. This paper addresses this challenge by introducing a comprehensive framework for synthesizing multi-stage scene-aware interaction motions directly from a single text instruction and goal location. Our approach employs an auto-regressive diffusion model to synthesize the next motion segment, along with an autonomous scheduler predicting the transition for each action stage. To ensure that the synthesized motions are seamlessly integrated within the environment, we propose a scene representation that considers the local perception both at the start and the goal location. We further enhance the coherence of the generated motion by integrating frame embeddings with language input. Additionally, to support model training, we present a comprehensive motion-captured dataset comprising 16 hours of motion sequences in 120 indoor scenes covering 40 types of motions, each annotated with precise language descriptions. Experimental results demonstrate the efficacy of our method in generating high-quality, multi-stage motions closely aligned with environmental and textual conditions.