Het analyseren van de taal van visuele tokens

Analyzing The Language of Visual Tokens

November 7, 2024

Auteurs: David M. Chan, Rodolfo Corona, Joonyong Park, Cheol Jun Cho, Yutong Bai, Trevor Darrell

cs.AI

Samenvatting

Met de introductie van transformermodellen voor visuele en talige taken, zoals LLaVA en Chameleon, is er hernieuwde interesse ontstaan in de discrete getokeniseerde representatie van beelden. Deze modellen behandelen beeldpatches vaak als discrete tokens, analoog aan woorden in natuurlijke taal, en leren gezamenlijke aligneringen tussen visuele en menselijke talen. Er is echter weinig bekend over het statistische gedrag van deze visuele talen – of ze vergelijkbare frequentieverdelingen, grammaticale structuren of topologieën volgen als natuurlijke talen. In dit artikel hanteren we een natuurlijke-taal-gerichte benadering om discrete visuele talen te analyseren en ontdekken we opvallende overeenkomsten en fundamentele verschillen. We tonen aan dat hoewel visuele talen aan Zipfiaanse verdelingen voldoen, hogere tokeninnovatie leidt tot grotere entropie en lagere compressie, waarbij tokens voornamelijk objectdelen vertegenwoordigen, wat op een intermediaire granulariteit wijst. We laten ook zien dat visuele talen cohesieve grammaticale structuren missen, wat resulteert in hogere perplexiteit en een zwakkere hiërarchische organisatie in vergelijking met natuurlijke talen. Ten slotte demonstreren we dat, hoewel visiemodellen nauwer aansluiten bij natuurlijke talen dan andere modellen, deze alignering aanzienlijk zwakker blijft dan de cohesie binnen natuurlijke talen. Door deze experimenten tonen we aan hoe inzicht in de statistische eigenschappen van discrete visuele talen het ontwerp van effectievere computervisiemodellen kan informeren.

English

With the introduction of transformer-based models for vision and language tasks, such as LLaVA and Chameleon, there has been renewed interest in the discrete tokenized representation of images. These models often treat image patches as discrete tokens, analogous to words in natural language, learning joint alignments between visual and human languages. However, little is known about the statistical behavior of these visual languages - whether they follow similar frequency distributions, grammatical structures, or topologies as natural languages. In this paper, we take a natural-language-centric approach to analyzing discrete visual languages and uncover striking similarities and fundamental differences. We demonstrate that, although visual languages adhere to Zipfian distributions, higher token innovation drives greater entropy and lower compression, with tokens predominantly representing object parts, indicating intermediate granularity. We also show that visual languages lack cohesive grammatical structures, leading to higher perplexity and weaker hierarchical organization compared to natural languages. Finally, we demonstrate that, while vision models align more closely with natural languages than other models, this alignment remains significantly weaker than the cohesion found within natural languages. Through these experiments, we demonstrate how understanding the statistical properties of discrete visual languages can inform the design of more effective computer vision models.