CGGS: Konsistenzerweitertes geometrisches Gaussian Splatting für egozentrische 3D-Szenengenerierung

Zusammenfassung

In der egozentrischen 3D-Szenengenerierung bestehen weiterhin Herausforderungen aufgrund einer begrenzten Überlappung der Ansichten und des dominanten Einflusses individueller Perspektiven auf die Szeneninterpretation. Diese Faktoren behindern die Erzeugung blickpunktkonsistenter und semantisch abgestimmter visueller Inhalte sowie die Konstruktion präziser geometrischer Strukturen. In diesem Beitrag stellen wir CGGS vor, ein Text-zu-3D-Framework, das darauf abzielt, das 3D-Inhaltsbewusstsein zu verbessern und geometrische Verzerrungen in der egozentrischen Szenengenerierung zu adressieren. Zunächst wird der Egozentrische Generator vorgeschlagen, indem ein Multi-View-Latent-Diffusionsmodell mit konsistenzgesteuertem Verlust feinabgestimmt wird, um konsistente, hochtreue 2D-Inhalte zu erzeugen, die mit Textbeschreibungen übereinstimmen. Dann nutzt der Layout-Dekorator optischen Fluss und Punktverfolgungskorrespondenz zur Tiefenschätzung und erzeugt somit dichte Punktwolken als grobe Layouts aus den egozentrischen 2D-Priors. Aufbauend auf dieser Initialisierung wird der Geometrie-Verfeinerer vorgeschlagen, um die 3D-Gauß-Rekonstruktion durch einen entropiebasierten Mutual-Information-Depth-Verlust (MID) in Kombination mit einem hierarchischen Optimierungsschema zur Verbesserung der visuellen Qualität und der geometrischen Struktur zu verbessern. Umfassende Experimente zeigen, dass CGGS frühere Methoden bei der Erzeugung kohärenter und genauer textgesteuerter 3D-Szenen übertrifft. Projektseite: https://cggs-26.github.io/cggs26/.

English

Challenges remain in ego-centric 3D scene generation due to limited view overlap and the dominant influence of individual perspectives on scene interpretation. These factors hinder the creation of viewpoint-consistent and semantically aligned visual content, as well as the construction of accurate geometric structures. In this paper, we propose CGGS, a text-to-3D framework aiming to enhance 3D-content-awareness and address geometric distortions in ego-centric scene generation. Firstly, the Ego-centric Generator is proposed by fine-tuning a Multi-View Latent Diffusion Model with consistency-augmented loss to generate consistent, high-fidelity 2D content aligned with textual descriptions. Then, Layout Decorator leverages optical flow and point-track correspondence to estimate depth, therefore producing dense point clouds as coarse layouts from the ego-centric 2D priors. Building on this initialization, Geometric Refiner is proposed to enhance 3D Gaussian reconstruction via an entropy-based Mutual Information Depth Loss (MID) combined with a hierarchical optimization scheme for improving visual quality and geometric structure. Comprehensive experiments demonstrate that softred{CGGS} outperforms previous methods in generating coherent and accurate text-driven 3D scenes. Project page: https://cggs-26.github.io/cggs26/.