dRAE: 초구형 코드를 이용한 표현 오토인코더

초록

본 연구에서는 고차원 시각 표현을 이산화하여 언어 모델과의 격차를 해소하는 것을 목표로 한다. 이는 사소하지 않은 과제로, 기존 양자화 방법들은 코드북 붕괴(codebook collapse)를 겪으며 의미적 일관성을 유지하면서 확장하는 데 실패한다. 근본 원인은 지표 불일치(metric mismatch)로 파악된다. 표준 유클리드 코드북 목적 함수는 표현 공간의 이방성 기하학과 근본적으로 정렬되지 않아, 높은 분산 크기 스케일과 고르지 않은 각도 분포를 가진 코드북 임베딩을 초래하여 확장성을 저해한다. 이를 해결하기 위해, 각도 라우팅을 통해 의미 내용과 특징 크기를 분리하는 초구면 양자화(HSQ)를 제안한다. 이는 코드 할당이 의미보다 스케일에 의해 지배되는 것을 방지한다. 결과적으로 얻어진 이산 표현 오토인코더(dRAE)는 의미적 무결성을 유지하고 확장 가능한 코드북 예산을 지원하면서 높은 충실도의 재구성을 달성한다. 광범위한 실험을 통해 어휘 크기가 131,072로 확장됨에 따라 일관된 성능 향상, 100% 코드북 활용, 간소화된 훈련 파이프라인, 그리고 이해 및 생성 작업 전반에서 강력한 성능을 입증한다.

English

In this work, we aim to discretize the high-dimensional visual representations to bridge the gap with language models - a non-trivial challenge, as existing quantization methods suffer from codebook collapse, failing to scale while preserving semantic coherence. We identify the root cause as metric mismatch: standard Euclidean codebook objectives are fundamentally misaligned with the anisotropic geometry of representation space, leading to codebook embeddings with high-variance magnitude scales and uneven angular distributions that hinder scalability. To address this, we propose Hyper-Spherical Quantization (HSQ), which decouples semantic content from feature magnitude via angular routing, preventing code assignment from being dominated by scale rather than meaning. The resulting discrete Representation Autoencoder (dRAE) achieves high-fidelity reconstruction while preserving semantic integrity and supporting scalable codebook budget. Extensive experiments demonstrate consistent performance gains as the vocabulary size scales to 131{,}072, along with 100\% codebook utilization, simplified training pipeline, and strong performance across understanding and generation tasks.