Cenas como Objetos, Não Primitivas: Tokenização 3D Estruturada por Instâncias a partir de Vistas Não Posicionadas

Resumo

Uma cena 3D é compreendida por meio de seus objetos, e não pelas primitivas que os compõem. No entanto, métodos de reconstrução feed-forward geram conjuntos densos e não estruturados de pontos ou gaussianas, deixando a estrutura ao nível de objeto para ser recuperada posteriormente. Propomos uma arquitetura feed-forward que decompõe uma cena em grupos de tokens 3D estruturados por instância diretamente a partir de imagens multivista não posicionadas — unidades compactas centradas em objetos a partir das quais reconstrução, segmentação e manipulação decorrem. Cada grupo de tokens combina um token de instância que captura a identidade ao nível da entidade com tokens âncora que codificam geometria e aparência locais, os quais são decodificados em um conjunto de gaussianas 3D. Essa fatoração em dois níveis desacopla a identidade do objeto da aparência local, tornando as instâncias de objeto uma interface nativa da representação, e não um produto derivado. Os grupos de tokens são aprendidos por meio de renderização diferenciável com supervisão conjunta de reconstrução e segmentação, sem exigir anotações 3D. Nosso modelo feed-forward supera as linhas de base de otimização por cena em segmentação de instância agnóstica a classes, mantendo-se competitivo em síntese de novas vistas. Além dessas métricas, os mesmos grupos de tokens habilitam diretamente a edição de cenas ao nível de instância — removendo, transladando ou inserindo objetos ao operar sobre seus grupos — bem como a recuperação eficiente de instâncias 3D com vocabulário aberto, onde a complexidade da recuperação escala com o número de instâncias, e não com o de primitivas.

English

A 3D scene is understood through its objects, not the primitives that compose them. Yet feed-forward reconstruction methods output dense, unstructured sets of points or Gaussians, leaving object-level structure to be recovered after the fact. We propose a feed-forward framework that decomposes a scene into instance-structured 3D token groups directly from unposed multi-view images -- compact object-centric units from which reconstruction, segmentation, and manipulation all follow. Each token group pairs an instance token capturing entity-level identity with anchor tokens that encode local geometry and appearance, which are decoded into a set of 3D Gaussians. This two-level factorization decouples object identity from local appearance, making object instances a native interface of the representation rather than a derived product. The token groups are learned through differentiable rendering with joint reconstruction and segmentation supervision, requiring no 3D annotations. Our feed-forward model surpasses per-scene optimization baselines in class-agnostic instance segmentation while remaining competitive in novel view synthesis. Beyond these metrics, the same token groups directly unlock instance-level scene editing -- removing, translating, or inserting objects by operating on their groups -- as well as efficient open-vocabulary 3D instance retrieval, where retrieval complexity scales with the number of instances rather than primitives.