Escenas como objetos, no como primitivas: tokenización 3D estructurada por instancias a partir de vistas no posicionadas

Resumen

Una escena 3D se comprende a través de sus objetos, no de las primitivas que los componen. Sin embargo, los métodos de reconstrucción feed-forward generan conjuntos densos y no estructurados de puntos o Gaussianas, dejando la estructura a nivel de objeto para ser recuperada posteriormente. Proponemos un marco feed-forward que descompone una escena en grupos de tokens 3D estructurados por instancias directamente a partir de imágenes multivista sin pose — unidades compactas centradas en objetos a partir de las cuales se derivan la reconstrucción, segmentación y manipulación. Cada grupo de tokens empareja un token de instancia que captura la identidad a nivel de entidad con tokens de anclaje que codifican la geometría y apariencia local, los cuales se decodifican en un conjunto de Gaussianas 3D. Esta factorización de dos niveles desacopla la identidad del objeto de la apariencia local, haciendo que las instancias de objetos sean una interfaz nativa de la representación, no un producto derivado. Los grupos de tokens se aprenden mediante renderizado diferenciable con supervisión conjunta de reconstrucción y segmentación, sin requerir anotaciones 3D. Nuestro modelo feed-forward supera a las líneas base de optimización por escena en segmentación de instancias independiente de clase, manteniéndose competitivo en síntesis de nuevas vistas. Más allá de estas métricas, los mismos grupos de tokens habilitan directamente la edición a nivel de instancia de la escena — eliminar, trasladar o insertar objetos operando sobre sus grupos — así como una recuperación eficiente de instancias 3D con vocabulario abierto, donde la complejidad de recuperación escala con el número de instancias en lugar de con las primitivas.

English

A 3D scene is understood through its objects, not the primitives that compose them. Yet feed-forward reconstruction methods output dense, unstructured sets of points or Gaussians, leaving object-level structure to be recovered after the fact. We propose a feed-forward framework that decomposes a scene into instance-structured 3D token groups directly from unposed multi-view images -- compact object-centric units from which reconstruction, segmentation, and manipulation all follow. Each token group pairs an instance token capturing entity-level identity with anchor tokens that encode local geometry and appearance, which are decoded into a set of 3D Gaussians. This two-level factorization decouples object identity from local appearance, making object instances a native interface of the representation rather than a derived product. The token groups are learned through differentiable rendering with joint reconstruction and segmentation supervision, requiring no 3D annotations. Our feed-forward model surpasses per-scene optimization baselines in class-agnostic instance segmentation while remaining competitive in novel view synthesis. Beyond these metrics, the same token groups directly unlock instance-level scene editing -- removing, translating, or inserting objects by operating on their groups -- as well as efficient open-vocabulary 3D instance retrieval, where retrieval complexity scales with the number of instances rather than primitives.