La compressione rappresenta l'intelligenza in modo lineare

Compression Represents Intelligence Linearly

April 15, 2024

Autori: Yuzhen Huang, Jinghan Zhang, Zifei Shan, Junxian He

cs.AI

Abstract

Esiste la convinzione che imparare a comprimere bene porti all'intelligenza. Recentemente, è stato dimostrato che il modeling linguistico è equivalente alla compressione, il che offre una motivazione convincente per il successo dei grandi modelli linguistici (LLM): lo sviluppo di modelli linguistici più avanzati consiste essenzialmente nel migliorare la compressione, che a sua volta facilita l'intelligenza. Nonostante queste discussioni interessanti, ci sono poche prove empiriche sull'interazione tra compressione e intelligenza. In questo lavoro, esaminiamo la loro relazione nel contesto degli LLM, trattando gli LLM come compressori di dati. Dato il concetto astratto di "intelligenza", adottiamo i punteggi medi dei benchmark downstream come surrogato, concentrandoci specificamente sull'intelligenza legata a conoscenza e senso comune, codifica e ragionamento matematico. Attraverso 12 benchmark, il nostro studio riunisce 30 LLM pubblici che provengono da diverse organizzazioni. In modo notevole, scopriamo che l'intelligenza degli LLM — riflessa dai punteggi medi dei benchmark — è quasi linearmente correlata alla loro capacità di comprimere corpora testuali esterni. Questi risultati forniscono prove concrete a sostegno della convinzione che una compressione superiore indichi una maggiore intelligenza. Inoltre, i nostri risultati suggeriscono che l'efficienza di compressione, come metrica non supervisionata derivata da corpora testuali grezzi, funge da misura di valutazione affidabile che è linearmente associata alle capacità del modello. Rendiamo open-source i nostri dataset di compressione, così come le nostre pipeline di raccolta dati, per facilitare i futuri ricercatori nel valutare correttamente la compressione.

English

There is a belief that learning to compress well will lead to intelligence. Recently, language modeling has been shown to be equivalent to compression, which offers a compelling rationale for the success of large language models (LLMs): the development of more advanced language models is essentially enhancing compression which facilitates intelligence. Despite such appealing discussions, little empirical evidence is present for the interplay between compression and intelligence. In this work, we examine their relationship in the context of LLMs, treating LLMs as data compressors. Given the abstract concept of "intelligence", we adopt the average downstream benchmark scores as a surrogate, specifically targeting intelligence related to knowledge and commonsense, coding, and mathematical reasoning. Across 12 benchmarks, our study brings together 30 public LLMs that originate from diverse organizations. Remarkably, we find that LLMs' intelligence -- reflected by average benchmark scores -- almost linearly correlates with their ability to compress external text corpora. These results provide concrete evidence supporting the belief that superior compression indicates greater intelligence. Furthermore, our findings suggest that compression efficiency, as an unsupervised metric derived from raw text corpora, serves as a reliable evaluation measure that is linearly associated with the model capabilities. We open-source our compression datasets as well as our data collection pipelines to facilitate future researchers to assess compression properly.