単一画像からの正確な3D人体の生成：ガウススプラッティングトランスフォーマー

GST: Precise 3D Human Body from a Single Image with Gaussian Splatting Transformers

September 6, 2024

著者: Lorenza Prospero, Abdullah Hamdi, Joao F. Henriques, Christian Rupprecht

cs.AI

要旨

単眼画像からリアルな3D人物モデルを再構築することは、クリエイティブ産業、人間とコンピュータのインタフェース、医療などに重要な応用があります。当研究では、ガウス混合から成るシーン表現である3Dガウススプラッティング（3DGS）に基づいています。単一の入力画像からこのような混合を人物に予測することは困難であり、入力ピクセルと多対1の関係を持つ非一様な密度であり、厳密な物理的制約があります。同時に、様々な服装やポーズに対応するために柔軟である必要があります。私たちの主要な観察結果は、標準化された人間メッシュ（例えばSMPLなど）の頂点が、ガウス分布の適切な密度とおおよその初期位置を提供できるということです。その後、トランスフォーマーモデルを訓練して、これらの位置に対する比較的小さな調整と、他のガウス分布の属性、およびSMPLパラメータを共同で予測することができます。我々は実証的に示すことができます。この組み合わせ（マルチビューの監督のみを使用）は、テスト時の最適化、高価な拡散モデル、または3Dポイントの監督なしで、単一の画像からの3D人物モデルの迅速な推論を達成できることを。また、服装やその他の変動を考慮した人物モデルにより、3Dポーズ推定を改善できることも示しています。コードはプロジェクトのウェブサイトhttps://abdullahamdi.com/gst/ で入手できます。

English

Reconstructing realistic 3D human models from monocular images has significant applications in creative industries, human-computer interfaces, and healthcare. We base our work on 3D Gaussian Splatting (3DGS), a scene representation composed of a mixture of Gaussians. Predicting such mixtures for a human from a single input image is challenging, as it is a non-uniform density (with a many-to-one relationship with input pixels) with strict physical constraints. At the same time, it needs to be flexible to accommodate a variety of clothes and poses. Our key observation is that the vertices of standardized human meshes (such as SMPL) can provide an adequate density and approximate initial position for Gaussians. We can then train a transformer model to jointly predict comparatively small adjustments to these positions, as well as the other Gaussians' attributes and the SMPL parameters. We show empirically that this combination (using only multi-view supervision) can achieve fast inference of 3D human models from a single image without test-time optimization, expensive diffusion models, or 3D points supervision. We also show that it can improve 3D pose estimation by better fitting human models that account for clothes and other variations. The code is available on the project website https://abdullahamdi.com/gst/ .