장면을 프리미티브가 아닌 객체로: 비정렬 뷰로부터의 인스턴스 구조화된 3D 토큰화

초록

3D 장면은 그것을 구성하는 기본 요소가 아닌 객체를 통해 이해된다. 그러나 피드포워드 재구성 방법은 조밀하고 구조화되지 않은 점 또는 가우시안 집합을 출력하여 객체 수준의 구조를 사후에 복구하도록 남겨둔다. 우리는 포즈가 지정되지 않은 다중 뷰 이미지로부터 장면을 인스턴스 구조화된 3D 토큰 그룹으로 직접 분해하는 피드포워드 프레임워크를 제안한다. 이는 재구성, 분할 및 조작이 모두 따르는 컴팩트한 객체 중심 단위이다. 각 토큰 그룹은 개체 수준의 식별성을 포착하는 인스턴스 토큰과 국부적 기하 및 외관을 인코딩하는 앵커 토큰을 짝지으며, 이는 3D 가우시안 집합으로 디코딩된다. 이러한 이중 수준 분해는 객체 식별성을 국부적 외관으로부터 분리하여 객체 인스턴스를 표현의 파생물이 아닌 기본 인터페이스로 만든다. 토큰 그룹은 재구성과 분할 감독을 결합한 미분 가능 렌더링을 통해 학습되며, 3D 주석이 필요하지 않다. 우리의 피드포워드 모델은 클래스에 구애받지 않는 인스턴스 분할에서 장면별 최적화 기준을 능가하면서 새로운 뷰 합성에서 경쟁력을 유지한다. 이러한 지표 외에도, 동일한 토큰 그룹은 인스턴스 수준의 장면 편집(그룹을 조작하여 객체를 제거, 이동 또는 삽입)과 효율적인 개방형 어휘 3D 인스턴스 검색을 직접 가능하게 하며, 여기서 검색 복잡도는 기본 요소가 아닌 인스턴스 수에 따라 확장된다.

English

A 3D scene is understood through its objects, not the primitives that compose them. Yet feed-forward reconstruction methods output dense, unstructured sets of points or Gaussians, leaving object-level structure to be recovered after the fact. We propose a feed-forward framework that decomposes a scene into instance-structured 3D token groups directly from unposed multi-view images -- compact object-centric units from which reconstruction, segmentation, and manipulation all follow. Each token group pairs an instance token capturing entity-level identity with anchor tokens that encode local geometry and appearance, which are decoded into a set of 3D Gaussians. This two-level factorization decouples object identity from local appearance, making object instances a native interface of the representation rather than a derived product. The token groups are learned through differentiable rendering with joint reconstruction and segmentation supervision, requiring no 3D annotations. Our feed-forward model surpasses per-scene optimization baselines in class-agnostic instance segmentation while remaining competitive in novel view synthesis. Beyond these metrics, the same token groups directly unlock instance-level scene editing -- removing, translating, or inserting objects by operating on their groups -- as well as efficient open-vocabulary 3D instance retrieval, where retrieval complexity scales with the number of instances rather than primitives.