Mogo: 高品質な3D人間モーション生成のためのRQ階層因果トランスフォーマ

Mogo: RQ Hierarchical Causal Transformer for High-Quality 3D Human Motion Generation

December 5, 2024

著者: Dongjie Fu

cs.AI

要旨

テキストからモーション生成の分野では、Bert型マスクモデル（MoMask、MMM）が現在、GPT型自己回帰モデル（T2M-GPT）よりも高品質な出力を生成しています。ただし、これらのBert型モデルは、しばしばビデオゲームやマルチメディア環境で必要とされるストリーミング出力機能を欠いており、これはGPT型モデルに固有の特徴です。さらに、これらのモデルは、分布外生成において性能が低いことが示されています。我々は、データのスケーリングを複雑にする余分なリファインメントモデルを追加せずに、GPT型構造を活用しつつBERT型モデルの品質を超えるために、新しいアーキテクチャであるMogo（Motion Only Generate Once）を提案します。Mogoは、単一のトランスフォーマーモデルを訓練することで、高品質でリアルな3D人間の動きを生成します。Mogoは、RVQ-VAE（階層的残差ベクトル量子化変分オートエンコーダ）という2つの主要なコンポーネントのみで構成されており、連続的な動きシーケンスを高い精度で離散化する役割を果たす一方、階層的因果トランスフォーマーは、基本的な動きシーケンスを自己回帰的に生成しながら、同時に異なるレイヤー間の残差を推論します。実験結果は、Mogoが260フレーム（13秒）までの連続および循環動きシーケンスを生成できることを示し、HumanML3Dなどの既存データセットの196フレーム（10秒）の長さ制限を超えています。HumanML3Dのテストセットでは、MogoはFIDスコア0.079を達成し、GPT型モデルT2M-GPT（FID = 0.116）、AttT2M（FID = 0.112）、BERT型モデルMMM（FID = 0.080）を上回っています。さらに、当モデルは分布外生成において最も優れた定量的性能を達成しています。

English

In the field of text-to-motion generation, Bert-type Masked Models (MoMask, MMM) currently produce higher-quality outputs compared to GPT-type autoregressive models (T2M-GPT). However, these Bert-type models often lack the streaming output capability required for applications in video game and multimedia environments, a feature inherent to GPT-type models. Additionally, they demonstrate weaker performance in out-of-distribution generation. To surpass the quality of BERT-type models while leveraging a GPT-type structure, without adding extra refinement models that complicate scaling data, we propose a novel architecture, Mogo (Motion Only Generate Once), which generates high-quality lifelike 3D human motions by training a single transformer model. Mogo consists of only two main components: 1) RVQ-VAE, a hierarchical residual vector quantization variational autoencoder, which discretizes continuous motion sequences with high precision; 2) Hierarchical Causal Transformer, responsible for generating the base motion sequences in an autoregressive manner while simultaneously inferring residuals across different layers. Experimental results demonstrate that Mogo can generate continuous and cyclic motion sequences up to 260 frames (13 seconds), surpassing the 196 frames (10 seconds) length limitation of existing datasets like HumanML3D. On the HumanML3D test set, Mogo achieves a FID score of 0.079, outperforming both the GPT-type model T2M-GPT (FID = 0.116), AttT2M (FID = 0.112) and the BERT-type model MMM (FID = 0.080). Furthermore, our model achieves the best quantitative performance in out-of-distribution generation.