3DZip: 3D 질의응답을 위한 공간 인지 기반 특성 다양성 유도 토큰 압축

초록

최근 3D 비전-언어 모델(3D VLM)은 2D 시각적 특징을 월드 좌표계로 투영하여 기하학 인식 토큰을 구축함으로써 3D 질의응답과 같은 작업에서 공간 추론을 가능하게 한다. 그러나 이러한 설계는 장면당 수천 개의 토큰을 생성하므로 상당한 계산 및 메모리 오버헤드를 초래한다. 토큰 압축은 2D VLM에서 광범위하게 연구되어 왔지만, 기존 접근법은 3D 토큰의 구조화된 공간적 특성을 간과하는 의미적 관련성이나 어텐션 기반 선택에 의존한다. 또한 3D 표현의 중복성은 공간적 근접성만으로는 해결할 수 없으며, 공간 집계 이후에도 객체 수준의 토큰 불균형이 지속된다. 이러한 문제를 해결하기 위해 우리는 3DZip을 제안한다. 3DZip은 3단계 토큰 압축 프레임워크로, 먼저 거친 복셀화를 통해 포인트 수준의 중복성을 제거하고, 결정적 포인트 프로세스(DPP)를 기반으로 특징 공간의 다양성에 따라 앵커 토큰을 선택한 다음, 기하학적 일관성을 보존하기 위해 공간 제약 하에 나머지 토큰을 병합한다. 세 가지 3D 질의응답 벤치마크에 대한 실험 결과, 3DZip은 기존 압축 방법을 일관되게 능가하며, 128개의 토큰만으로 원래 성능의 94.7%를 유지하면서 1.92배 빠른 추론 속도를 달성함을 입증한다.

English

Recent 3D vision-language models (3D VLMs) construct geometry aware tokens by projecting 2D visual features into world coordinates, enabling spatial reasoning for tasks such as 3D question answering. However, this design generates thousands of tokens per scene, resulting in substantial computational and memory overhead. While token compression has been extensively studied in 2D VLMs, existing approaches rely on semantic relevance or attention-based selection that overlook the structured spatial nature of 3D tokens. Moreover, redundancy in 3D representations cannot be resolved by spatial proximity alone, as object-level token imbalance persists even after spatial aggregation. To address this, we propose 3DZip, a three-stage token compression framework that first applies coarse voxelization to remove point-level redundancy, then selects anchor tokens based on feature-space diversity via a Determinantal Point Process, and finally merges remaining tokens under spatial constraints to preserve geometric coherence. Experiments on three 3D question answering benchmarks demonstrate that 3DZip consistently outperforms existing compression methods, retaining 94.7% of the original performance with only 128 tokens, achieving a 1.92times faster inference speed.