GeoMotionGPT: Compreensão de Movimento Alinhada à Geometria com Modelos de Linguagem de Grande Escala

GeoMotionGPT: Geometry-Aligned Motion Understanding with Large Language Models

January 12, 2026

Autores: Zhankai Ye, Bofan Li, Yukai Jin, Shuoqiu Li, Wei Wang, Yanfu Zhang, Shangqian Gao, Xin Liu

cs.AI

Resumo

A tokenização discreta de movimento tem permitido recentemente que os Grandes Modelos de Linguagem (LLMs) atuem como estruturas versáteis para a compreensão de movimento e o raciocínio entre movimento e linguagem. No entanto, os *pipelines* existentes geralmente desacoplam a quantização do movimento da aprendizagem de incorporação semântica, ligando-as apenas através de IDs de token. Essa abordagem não consegue alinhar efetivamente a geometria intrínseca do espaço de movimento com o espaço de incorporação, prejudicando assim a capacidade do LLM para um raciocínio de movimento matizado. Argumentamos que o alinhamento é mais eficaz quando ambas as modalidades compartilham uma base geométrica unificada. Portanto, em vez de forçar o LLM a reconstruir a geometria complexa entre os tokens de movimento do zero, apresentamos uma nova estrutura que impõe explicitamente ortogonalidade tanto no *codebook* de movimento quanto no espaço de incorporação do LLM, garantindo que suas estruturas relacionais se espelhem naturalmente. Especificamente, empregamos um quantizador apenas-decodificador com Gumbel-Softmax para treinamento diferenciável e uso balanceado do *codebook*. Para conectar as modalidades, usamos uma projeção esparsa que mapeia os códigos de movimento para o espaço de incorporação do LLM, preservando a ortogonalidade. Finalmente, um cronograma de regularização ortonormal em dois estágios impõe restrições suaves durante o treinamento do tokenizador e o ajuste fino do LLM para manter o alinhamento geométrico sem prejudicar a adaptação semântica. Experimentos extensivos no HumanML3D demonstram que nossa estrutura alcança uma melhoria de desempenho de 20% sobre os métodos state-of-the-art atuais, validando que uma base geométrica unificada capacita efetivamente o LLM para um raciocínio de movimento matizado.

English

Discrete motion tokenization has recently enabled Large Language Models (LLMs) to serve as versatile backbones for motion understanding and motion-language reasoning. However, existing pipelines typically decouple motion quantization from semantic embedding learning, linking them solely via token IDs. This approach fails to effectively align the intrinsic geometry of the motion space with the embedding space, thereby hindering the LLM's capacity for nuanced motion reasoning. We argue that alignment is most effective when both modalities share a unified geometric basis. Therefore, instead of forcing the LLM to reconstruct the complex geometry among motion tokens from scratch, we present a novel framework that explicitly enforces orthogonality on both the motion codebook and the LLM embedding space, ensuring that their relational structures naturally mirror each other. Specifically, we employ a decoder-only quantizer with Gumbel-Softmax for differentiable training and balanced codebook usage. To bridge the modalities, we use a sparse projection that maps motion codes into the LLM embedding space while preserving orthogonality. Finally, a two-stage orthonormal regularization schedule enforces soft constraints during tokenizer training and LLM fine-tuning to maintain geometric alignment without hindering semantic adaptation. Extensive experiments on HumanML3D demonstrate that our framework achieves a 20% performance improvement over current state-of-the-art methods, validating that a unified geometric basis effectively empowers the LLM for nuanced motion reasoning.