Scènes en tant qu’objets, et non comme primitives : tokenisation 3D structurée par instances à partir de vues non posées

Résumé

Une scène 3D se comprend à travers ses objets, et non par les primitives qui les composent. Pourtant, les méthodes de reconstruction feed-forward produisent des ensembles denses et non structurés de points ou de Gaussiennes, laissant la structure au niveau des objets à reconstruire a posteriori. Nous proposons un cadre feed-forward qui décompose une scène en groupes de tokens 3D structurés par instance directement à partir d’images multi-vues non positionnées — des unités compactes centrées sur les objets à partir desquelles découlent reconstruction, segmentation et manipulation. Chaque groupe de tokens associe un token d’instance capturant l’identité au niveau de l’entité avec des tokens d’ancrage qui encodent la géométrie et l’apparence locales, décodés ensuite en un ensemble de Gaussiennes 3D. Cette factorisation à deux niveaux dissocie l’identité de l’objet de son apparence locale, faisant des instances d’objets une interface native de la représentation plutôt qu’un produit dérivé. Les groupes de tokens sont appris par rendu différentiable avec une supervision conjointe sur la reconstruction et la segmentation, sans nécessiter d’annotations 3D. Notre modèle feed-forward surpasse les bases de référence par optimisation par scène en segmentation d’instances indépendante de la classe, tout en restant compétitif en synthèse de nouvelles vues. Au-delà de ces métriques, ces mêmes groupes de tokens permettent directement l’édition de scène au niveau des instances — supprimer, translater ou insérer des objets en agissant sur leurs groupes — ainsi qu’une recherche efficace d’instances 3D à vocabulaire ouvert, dont la complexité évolue avec le nombre d’instances plutôt qu’avec celui des primitives.

English

A 3D scene is understood through its objects, not the primitives that compose them. Yet feed-forward reconstruction methods output dense, unstructured sets of points or Gaussians, leaving object-level structure to be recovered after the fact. We propose a feed-forward framework that decomposes a scene into instance-structured 3D token groups directly from unposed multi-view images -- compact object-centric units from which reconstruction, segmentation, and manipulation all follow. Each token group pairs an instance token capturing entity-level identity with anchor tokens that encode local geometry and appearance, which are decoded into a set of 3D Gaussians. This two-level factorization decouples object identity from local appearance, making object instances a native interface of the representation rather than a derived product. The token groups are learned through differentiable rendering with joint reconstruction and segmentation supervision, requiring no 3D annotations. Our feed-forward model surpasses per-scene optimization baselines in class-agnostic instance segmentation while remaining competitive in novel view synthesis. Beyond these metrics, the same token groups directly unlock instance-level scene editing -- removing, translating, or inserting objects by operating on their groups -- as well as efficient open-vocabulary 3D instance retrieval, where retrieval complexity scales with the number of instances rather than primitives.