Сцены как объекты, а не примитивы: инстансно-структурированная 3D-токенизация из неориентированных видов

Аннотация

Трёхмерная сцена воспринимается через её объекты, а не через примитивы, из которых они состоят. Тем не менее, методы прямого реконструирования (feed-forward reconstruction) создают плотные неструктурированные множества точек или гауссианов, оставляя восстановление объектно-уровневой структуры на последующие этапы. Мы предлагаем архитектуру прямого реконструирования, которая разлагает сцену на экземплярно-структурированные группы трёхмерных токенов непосредственно по неопределённым многовидовым изображениям — компактные объектно-центрированные единицы, из которых следуют реконструкция, сегментация и манипуляция. Каждая группа токенов объединяет токен экземпляра, фиксирующий сущностную идентичность, с якорными токенами, кодирующими локальную геометрию и внешний вид, которые декодируются в набор трёхмерных гауссианов. Эта двухуровневая факторизация отделяет идентичность объекта от его локального вида, делая объектные экземпляры естественным интерфейсом представления, а не производным продуктом. Группы токенов обучаются с помощью дифференцируемого рендеринга при совместном контроле реконструкции и сегментации, не требуя трёхмерных аннотаций. Наша модель прямого реконструирования превосходит базовые методы с покадровой оптимизацией (per-scene optimization) в задаче сегментации экземпляров без привязки к классу, оставаясь при этом конкурентоспособной в синтезе новых видов. Помимо этих метрик, те же группы токенов напрямую обеспечивают редактирование сцены на уровне экземпляров — удаление, перемещение или вставку объектов путём манипуляции их группами — а также эффективный трёхмерный поиск экземпляров по открытому словарю, где сложность поиска масштабируется в зависимости от числа экземпляров, а не примитивов.

English

A 3D scene is understood through its objects, not the primitives that compose them. Yet feed-forward reconstruction methods output dense, unstructured sets of points or Gaussians, leaving object-level structure to be recovered after the fact. We propose a feed-forward framework that decomposes a scene into instance-structured 3D token groups directly from unposed multi-view images -- compact object-centric units from which reconstruction, segmentation, and manipulation all follow. Each token group pairs an instance token capturing entity-level identity with anchor tokens that encode local geometry and appearance, which are decoded into a set of 3D Gaussians. This two-level factorization decouples object identity from local appearance, making object instances a native interface of the representation rather than a derived product. The token groups are learned through differentiable rendering with joint reconstruction and segmentation supervision, requiring no 3D annotations. Our feed-forward model surpasses per-scene optimization baselines in class-agnostic instance segmentation while remaining competitive in novel view synthesis. Beyond these metrics, the same token groups directly unlock instance-level scene editing -- removing, translating, or inserting objects by operating on their groups -- as well as efficient open-vocabulary 3D instance retrieval, where retrieval complexity scales with the number of instances rather than primitives.