Síntese Autônoma de Interação Personagem-Cena a partir de Instruções de Texto

Autonomous Character-Scene Interaction Synthesis from Text Instruction

October 4, 2024

Autores: Nan Jiang, Zimo He, Zi Wang, Hongjie Li, Yixin Chen, Siyuan Huang, Yixin Zhu

cs.AI

Resumo

A síntese de movimentos humanos em ambientes 3D, especialmente aqueles com atividades complexas como locomoção, alcance de mãos e interação humano-objeto, apresenta demandas substanciais para pontos de passagem definidos pelo usuário e transições de estágios. Esses requisitos representam desafios para os modelos atuais, resultando em uma lacuna significativa na automatização da animação de personagens a partir de entradas humanas simples. Este artigo aborda esse desafio ao introduzir um framework abrangente para a síntese de movimentos de interação cenas multiestágios diretamente a partir de uma única instrução de texto e localização do objetivo. Nossa abordagem utiliza um modelo de difusão auto-regressivo para sintetizar o próximo segmento de movimento, juntamente com um agendador autônomo que prevê a transição para cada estágio de ação. Para garantir que os movimentos sintetizados sejam integrados de forma contínua no ambiente, propomos uma representação de cena que considera a percepção local tanto no início quanto no local do objetivo. Além disso, aprimoramos a coerência do movimento gerado integrando embeddings de quadros com a entrada de linguagem. Adicionalmente, para apoiar o treinamento do modelo, apresentamos um conjunto de dados abrangente de captura de movimento composto por 16 horas de sequências de movimento em 120 cenas internas cobrindo 40 tipos de movimentos, cada um anotado com descrições de linguagem precisas. Resultados experimentais demonstram a eficácia de nosso método na geração de movimentos multiestágios de alta qualidade, intimamente alinhados com as condições ambientais e textuais.

English

Synthesizing human motions in 3D environments, particularly those with complex activities such as locomotion, hand-reaching, and human-object interaction, presents substantial demands for user-defined waypoints and stage transitions. These requirements pose challenges for current models, leading to a notable gap in automating the animation of characters from simple human inputs. This paper addresses this challenge by introducing a comprehensive framework for synthesizing multi-stage scene-aware interaction motions directly from a single text instruction and goal location. Our approach employs an auto-regressive diffusion model to synthesize the next motion segment, along with an autonomous scheduler predicting the transition for each action stage. To ensure that the synthesized motions are seamlessly integrated within the environment, we propose a scene representation that considers the local perception both at the start and the goal location. We further enhance the coherence of the generated motion by integrating frame embeddings with language input. Additionally, to support model training, we present a comprehensive motion-captured dataset comprising 16 hours of motion sequences in 120 indoor scenes covering 40 types of motions, each annotated with precise language descriptions. Experimental results demonstrate the efficacy of our method in generating high-quality, multi-stage motions closely aligned with environmental and textual conditions.