Sintesi dell'Interazione Autonoma tra Personaggio e Scena da Istruzioni Testuali

Autonomous Character-Scene Interaction Synthesis from Text Instruction

October 4, 2024

Autori: Nan Jiang, Zimo He, Zi Wang, Hongjie Li, Yixin Chen, Siyuan Huang, Yixin Zhu

cs.AI

Abstract

La sintesi dei movimenti umani in ambienti 3D, in particolare quelli con attività complesse come la locomozione, il raggiungimento con la mano e l'interazione uomo-oggetto, presenta notevoli richieste per i punti intermedi definiti dall'utente e le transizioni di fase. Questi requisiti pongono sfide per i modelli attuali, portando a una significativa lacuna nell'automatizzazione dell'animazione dei personaggi a partire da semplici input umani. Questo articolo affronta questa sfida introducendo un quadro completo per la sintesi di movimenti di interazione consapevoli della scena a più fasi direttamente da un'unica istruzione testuale e dalla posizione obiettivo. Il nostro approccio utilizza un modello di diffusione auto-regressivo per sintetizzare il segmento di movimento successivo, insieme a un programmatore autonomo che prevede la transizione per ciascuna fase dell'azione. Per garantire che i movimenti sintetizzati siano integrati in modo uniforme all'interno dell'ambiente, proponiamo una rappresentazione della scena che tiene conto della percezione locale sia all'inizio che nella posizione obiettivo. Miglioriamo ulteriormente la coerenza del movimento generato integrando i frame embeddings con l'input linguistico. Inoltre, per supportare l'addestramento del modello, presentiamo un ampio dataset di motion capture che comprende 16 ore di sequenze di movimento in 120 scene indoor che coprono 40 tipi di movimenti, ognuno annotato con precise descrizioni linguistiche. I risultati sperimentali dimostrano l'efficacia del nostro metodo nella generazione di movimenti a più fasi di alta qualità strettamente allineati alle condizioni ambientali e testuali.

English

Synthesizing human motions in 3D environments, particularly those with complex activities such as locomotion, hand-reaching, and human-object interaction, presents substantial demands for user-defined waypoints and stage transitions. These requirements pose challenges for current models, leading to a notable gap in automating the animation of characters from simple human inputs. This paper addresses this challenge by introducing a comprehensive framework for synthesizing multi-stage scene-aware interaction motions directly from a single text instruction and goal location. Our approach employs an auto-regressive diffusion model to synthesize the next motion segment, along with an autonomous scheduler predicting the transition for each action stage. To ensure that the synthesized motions are seamlessly integrated within the environment, we propose a scene representation that considers the local perception both at the start and the goal location. We further enhance the coherence of the generated motion by integrating frame embeddings with language input. Additionally, to support model training, we present a comprehensive motion-captured dataset comprising 16 hours of motion sequences in 120 indoor scenes covering 40 types of motions, each annotated with precise language descriptions. Experimental results demonstrate the efficacy of our method in generating high-quality, multi-stage motions closely aligned with environmental and textual conditions.