自由形状：より長いバージョンからの3D再構成の精密化

Free Geometry: Refining 3D Reconstruction from Longer Versions of Itself

April 15, 2026

著者: Yuhang Dai, Xingyi Yang

cs.AI

要旨

フィードフォワード型3D再構成モデルは効率的であるが硬直的である。一度学習すると、ゼロショット推論を行い、テストシーンに適応できない。その結果、視覚的に妥当な再構成結果にも、特に遮蔽、鏡面反射、曖昧な手がかりの下で誤りが生じやすい。この問題に対処するため、我々はフィードフォワード型3D再構成モデルが3D教師データなしでテスト時に自己進化することを可能にするフレームワーク「Free Geometry」を提案する。我々の重要な洞察は、モデルがより多くの視点を入力されると、より信頼性が高く視点整合性のある再構成を生成するという点である。この特性を活用し、テストシーケンスが与えられた際に、フレームの一部をマスキングして自己教師タスクを構築する。Free Geometryは、完全観測と部分観測からの特徴表現間の視点間整合性を強化しつつ、ホールドアウトされたフレームが示すペアワイズ関係を維持する。この自己教師により、軽量なLoRA更新による高速な再較正が可能となり、データセットあたりの処理は単一GPUで2分未満である。本手法は、Depth Anything 3やVGGTを含む最先端の基盤モデルを、4つのベンチマークデータセットにわたり一貫して改善し、カメラ姿勢精度で平均3.73%、点群マップ予測で平均2.88%の向上を達成した。コードはhttps://github.com/hiteacherIamhumble/Free-Geometry で公開されている。

English

Feed-forward 3D reconstruction models are efficient but rigid: once trained, they perform inference in a zero-shot manner and cannot adapt to the test scene. As a result, visually plausible reconstructions often contain errors, particularly under occlusions, specularities, and ambiguous cues. To address this, we introduce Free Geometry, a framework that enables feed-forward 3D reconstruction models to self-evolve at test time without any 3D ground truth. Our key insight is that, when the model receives more views, it produces more reliable and view-consistent reconstructions. Leveraging this property, given a testing sequence, we mask a subset of frames to construct a self-supervised task. Free Geometry enforces cross-view feature consistency between representations from full and partial observations, while maintaining the pairwise relations implied by the held-out frames. This self-supervision allows for fast recalibration via lightweight LoRA updates, taking less than 2 minutes per dataset on a single GPU. Our approach consistently improves state-of-the-art foundation models, including Depth Anything 3 and VGGT, across 4 benchmark datasets, yielding an average improvement of 3.73% in camera pose accuracy and 2.88% in point map prediction. Code is available at https://github.com/hiteacherIamhumble/Free-Geometry .