3DZip: 空間認識に基づく特徴多様性ガイド付きトークン圧縮による3D質問応答

要旨

最近の3D視覚言語モデル（3D VLM）は、2D視覚特徴をワールド座標に投影することで幾何学的認識トークンを構築し、3D質問応答などのタスクにおける空間推論を可能にする。しかし、この設計ではシーンごとに数千のトークンが生成されるため、計算コストとメモリオーバーヘッドが大きくなる。トークン圧縮は2D VLMで広く研究されてきたが、既存の手法は意味的関連性や注意ベースの選択に依存しており、3Dトークンの構造化された空間的性質を見落としている。さらに、空間的集約後もオブジェクトレベルのトークン不均衡が残るため、3D表現の冗長性は空間的近接性だけでは解決できない。この問題に対処するため、我々は3段階のトークン圧縮フレームワークである3DZipを提案する。3DZipは、まず粗いボクセル化を用いて点レベルの冗長性を除去し、次に行列式点過程による特徴空間の多様性に基づいてアンカートークンを選択し、最後に空間的制約の下で残りのトークンを統合して幾何学的一貫性を保つ。3つの3D質問応答ベンチマークでの実験により、3DZipは既存の圧縮手法を一貫して上回り、わずか128トークンで元の性能の94.7%を保持し、1.92倍の推論速度を達成することを実証した。

English

Recent 3D vision-language models (3D VLMs) construct geometry aware tokens by projecting 2D visual features into world coordinates, enabling spatial reasoning for tasks such as 3D question answering. However, this design generates thousands of tokens per scene, resulting in substantial computational and memory overhead. While token compression has been extensively studied in 2D VLMs, existing approaches rely on semantic relevance or attention-based selection that overlook the structured spatial nature of 3D tokens. Moreover, redundancy in 3D representations cannot be resolved by spatial proximity alone, as object-level token imbalance persists even after spatial aggregation. To address this, we propose 3DZip, a three-stage token compression framework that first applies coarse voxelization to remove point-level redundancy, then selects anchor tokens based on feature-space diversity via a Determinantal Point Process, and finally merges remaining tokens under spatial constraints to preserve geometric coherence. Experiments on three 3D question answering benchmarks demonstrate that 3DZip consistently outperforms existing compression methods, retaining 94.7% of the original performance with only 128 tokens, achieving a 1.92times faster inference speed.