視覚的トークンの言語分析

Analyzing The Language of Visual Tokens

November 7, 2024

著者: David M. Chan, Rodolfo Corona, Joonyong Park, Cheol Jun Cho, Yutong Bai, Trevor Darrell

cs.AI

要旨

視覚と言語タスクのためのTransformerベースモデル、例えばLLaVAやChameleonの導入により、画像の離散的なトークン化表現に対する新たな関心が高まっている。これらのモデルは、画像パッチを自然言語における単語と同様に離散的なトークンとして扱い、視覚と言語の間の共同アラインメントを学習する。しかし、これらの視覚言語の統計的振る舞いについてはほとんど知られていない。具体的には、それらが自然言語と同様の頻度分布、文法構造、またはトポロジーに従うかどうかは不明である。本論文では、自然言語中心のアプローチを採用して離散的な視覚言語を分析し、驚くべき類似点と根本的な差異を明らかにする。視覚言語がZipf分布に従う一方で、より高いトークン革新がエントロピーの増大と圧縮率の低下を引き起こし、トークンが主に物体の部分を表す中間的な粒度を示すことを実証する。また、視覚言語には結束性のある文法構造が欠如しており、自然言語と比較して高いパープレキシティと弱い階層的組織化をもたらすことを示す。最後に、視覚モデルが他のモデルよりも自然言語に近いアラインメントを示すものの、そのアラインメントは自然言語内に見られる結束性に比べて依然として著しく弱いことを実証する。これらの実験を通じて、離散的な視覚言語の統計的特性を理解することが、より効果的なコンピュータビジョンモデルの設計にどのように役立つかを示す。

English

With the introduction of transformer-based models for vision and language tasks, such as LLaVA and Chameleon, there has been renewed interest in the discrete tokenized representation of images. These models often treat image patches as discrete tokens, analogous to words in natural language, learning joint alignments between visual and human languages. However, little is known about the statistical behavior of these visual languages - whether they follow similar frequency distributions, grammatical structures, or topologies as natural languages. In this paper, we take a natural-language-centric approach to analyzing discrete visual languages and uncover striking similarities and fundamental differences. We demonstrate that, although visual languages adhere to Zipfian distributions, higher token innovation drives greater entropy and lower compression, with tokens predominantly representing object parts, indicating intermediate granularity. We also show that visual languages lack cohesive grammatical structures, leading to higher perplexity and weaker hierarchical organization compared to natural languages. Finally, we demonstrate that, while vision models align more closely with natural languages than other models, this alignment remains significantly weaker than the cohesion found within natural languages. Through these experiments, we demonstrate how understanding the statistical properties of discrete visual languages can inform the design of more effective computer vision models.