시각적 토큰의 언어 분석

Analyzing The Language of Visual Tokens

November 7, 2024

저자: David M. Chan, Rodolfo Corona, Joonyong Park, Cheol Jun Cho, Yutong Bai, Trevor Darrell

cs.AI

초록

비전 및 언어 작업을 위한 트랜스포머 기반 모델인 LLaVA와 Chameleon의 도입으로, 이미지의 이산 토큰화된 표현에 대한 새로운 관심이 촉발되었다. 이러한 모델들은 종종 이미지 패치를 자연어의 단어와 유사한 이산 토큰으로 취급하며, 시각 언어와 인간 언어 간의 공동 정렬을 학습한다. 그러나 이러한 시각 언어의 통계적 행동에 대해서는 알려진 바가 거의 없다. 즉, 이들이 자연어와 유사한 빈도 분포, 문법 구조 또는 토폴로지를 따르는지 여부는 불분명하다. 본 논문에서는 이산 시각 언어를 분석하기 위해 자연어 중심 접근법을 취하며, 놀라운 유사성과 근본적인 차이점을 밝힌다. 우리는 시각 언어가 지프 분포를 따르지만, 더 높은 토큰 혁신이 더 큰 엔트로피와 더 낮은 압축을 유도하며, 토큰이 주로 객체의 부분을 나타내어 중간 수준의 세분성을 보인다는 것을 입증한다. 또한, 시각 언어는 응집력 있는 문법 구조가 부족하여 자연어에 비해 더 높은 복잡성과 더 약한 계층적 조직을 보인다는 것을 보여준다. 마지막으로, 비전 모델이 다른 모델들보다 자연어와 더 밀접하게 정렬되지만, 이러한 정렬은 자연어 내에서 발견되는 응집력에 비해 상당히 약하다는 것을 입증한다. 이러한 실험을 통해, 이산 시각 언어의 통계적 특성을 이해하는 것이 더 효과적인 컴퓨터 비전 모델 설계에 어떻게 기여할 수 있는지를 보여준다.

English

With the introduction of transformer-based models for vision and language tasks, such as LLaVA and Chameleon, there has been renewed interest in the discrete tokenized representation of images. These models often treat image patches as discrete tokens, analogous to words in natural language, learning joint alignments between visual and human languages. However, little is known about the statistical behavior of these visual languages - whether they follow similar frequency distributions, grammatical structures, or topologies as natural languages. In this paper, we take a natural-language-centric approach to analyzing discrete visual languages and uncover striking similarities and fundamental differences. We demonstrate that, although visual languages adhere to Zipfian distributions, higher token innovation drives greater entropy and lower compression, with tokens predominantly representing object parts, indicating intermediate granularity. We also show that visual languages lack cohesive grammatical structures, leading to higher perplexity and weaker hierarchical organization compared to natural languages. Finally, we demonstrate that, while vision models align more closely with natural languages than other models, this alignment remains significantly weaker than the cohesion found within natural languages. Through these experiments, we demonstrate how understanding the statistical properties of discrete visual languages can inform the design of more effective computer vision models.