Szenen als Objekte, nicht als Primitive: Instanzstrukturierte 3D-Tokenisierung aus ungestellten Ansichten

Zusammenfassung

Ein 3D-Szenenverständnis erfolgt über seine Objekte, nicht über die sie zusammensetzenden Primitive. Dennoch liefern Feed-Forward-Rekonstruktionsmethoden dichte, unstrukturierte Mengen von Punkten oder Gauß-Verteilungen, sodass die Objektstruktur erst im Nachhinein wiederhergestellt werden muss. Wir schlagen ein Feed-Forward-Framework vor, das eine Szene direkt aus unpositionierten Multi-View-Bildern in instanzstrukturierte 3D-Token-Gruppen zerlegt – kompakte, objektzentrierte Einheiten, aus denen Rekonstruktion, Segmentierung und Manipulation gleichermaßen folgen. Jede Token-Gruppe kombiniert einen Instanz-Token, der die Entitätsebene erfasst, mit Anker-Token, die lokale Geometrie und Erscheinung kodieren und in einen Satz von 3D-Gauß-Verteilungen dekodiert werden. Diese zweistufige Faktorisierung entkoppelt die Objektidentität von der lokalen Erscheinung und macht Objektinstanzen zu einer natives Schnittstelle der Repräsentation, nicht zu einem abgeleiteten Produkt. Die Token-Gruppen werden durch differenzierbares Rendering mit gemeinsamer Rekonstruktions- und Segmentierungsüberwachung gelernt, ohne dass 3D-Annotationen erforderlich sind. Unser Feed-Forward-Modell übertrifft pro-Szene-optimierte Basislinien in der klassenunabhängigen Instanzsegmentierung und bleibt gleichzeitig wettbewerbsfähig in der Neuansichtssynthese. Über diese Metriken hinaus ermöglichen dieselben Token-Gruppen direkt die Instanzebenen-Bearbeitung von Szenen – Entfernen, Verschieben oder Einfügen von Objekten durch Eingriffe in ihre Gruppen – sowie effizienten 3D-Instanzabruf mit offenem Vokabular, bei dem die Abrufkomplexität mit der Anzahl der Instanzen und nicht mit der Anzahl der Primitive skaliert.

English

A 3D scene is understood through its objects, not the primitives that compose them. Yet feed-forward reconstruction methods output dense, unstructured sets of points or Gaussians, leaving object-level structure to be recovered after the fact. We propose a feed-forward framework that decomposes a scene into instance-structured 3D token groups directly from unposed multi-view images -- compact object-centric units from which reconstruction, segmentation, and manipulation all follow. Each token group pairs an instance token capturing entity-level identity with anchor tokens that encode local geometry and appearance, which are decoded into a set of 3D Gaussians. This two-level factorization decouples object identity from local appearance, making object instances a native interface of the representation rather than a derived product. The token groups are learned through differentiable rendering with joint reconstruction and segmentation supervision, requiring no 3D annotations. Our feed-forward model surpasses per-scene optimization baselines in class-agnostic instance segmentation while remaining competitive in novel view synthesis. Beyond these metrics, the same token groups directly unlock instance-level scene editing -- removing, translating, or inserting objects by operating on their groups -- as well as efficient open-vocabulary 3D instance retrieval, where retrieval complexity scales with the number of instances rather than primitives.