PixWorld: Vereinigung von 3D-Szenengenerierung und -rekonstruktion im Pixelraum

Zusammenfassung

3D-Rekonstruktion und -Generierung werden üblicherweise durch separate Paradigmen behandelt: pixelbasierte Regression für die Rekonstruktion und latente Diffusion für die Generierung. Neuere Arbeiten versuchen, diese im latenten Raum zu vereinheitlichen, weisen jedoch bemerkenswerte Nachteile auf: Das Diffusionsziel ist auf latenten Merkmalen statt auf der zugrunde liegenden 3D-Repräsentation definiert, und beide Zweige leiden unter dem Informationsverlust, der durch die latente Kodierung entsteht, während ein vortrainierter variationaler Autoencoder (VAE) oder Repräsentations-Autoencoder (RAE) erforderlich ist. In dieser Arbeit formulieren wir diese beiden Aufgaben unter einem einheitlichen Diffusionsparadigma im Pixelraum neu und stellen PixWorld vor, ein einzelnes Modell, das sowohl 3D-Rekonstruktion als auch Generierung gemeinsam adressiert. Indem die Diffusion direkt auf gerenderten Bildern überwacht wird, beseitigt PixWorld die oben genannten Einschränkungen und richtet die Optimierung an der Wiedergabetreue der 3D-Szene aus. Über die photometrische und perzeptuelle Überwachung hinaus, die auf der Ebene von 2D-Bildern operiert und kein 3D-Geometriebewusstsein besitzt, führen wir zudem einen Geometrie-Wahrnehmungsverlust ein, der gerenderte Ansichten mit ihren Ground-Truth-Ansichten im geometriebewussten Merkmalsraum eines vortrainierten 3D-Grundlagenmodells abgleicht und so eine 3D-strukturelle Überwachung bereitstellt. PixWorld übertrifft durchgängig frühere Methoden der Generierung im latenten Raum und erreicht die Leistung modernster Rekonstruktionsmethoden, was die Überlegenheit eines einheitlichen Ansatzes im Pixelraum demonstriert.

English

3D reconstruction and generation are commonly tackled by separate paradigms: pixel-based regression for reconstruction, and latent diffusion for generation. Recent works attempt to unify them in latent space, but with notable drawbacks: the diffusion objective is defined on latent features rather than the underlying 3D representation, and both branches suffer from information loss introduced by latent encoding, while requiring a pretrained Variational Autoencoder (VAE) or Representation Autoencoder (RAE). In this paper, we reformulate these two tasks under a unified pixel-space diffusion paradigm and introduce PixWorld, a single model that jointly addresses 3D reconstruction and generation. By supervising diffusion directly on rendered images, PixWorld removes the above limitations and aligns optimization with 3D scene fidelity. Beyond photometric and perceptual supervision that operates at the 2D image level and lacks 3D geometric awareness, we further introduce a geometry perception loss that aligns rendered views with their ground truth in the geometry-aware feature space of a pretrained 3D foundation model, providing 3D structural supervision. PixWorld consistently outperforms prior latent-space generation methods and matches state-of-the-art reconstruction methods, demonstrating the superiority of a unified pixel-space approach.