Compressão Representa Inteligência de Forma Linear

Compression Represents Intelligence Linearly

April 15, 2024

Autores: Yuzhen Huang, Jinghan Zhang, Zifei Shan, Junxian He

cs.AI

Resumo

Existe uma crença de que aprender a comprimir bem levará à inteligência. Recentemente, demonstrou-se que a modelagem de linguagem é equivalente à compressão, o que oferece uma justificativa convincente para o sucesso dos grandes modelos de linguagem (LLMs): o desenvolvimento de modelos de linguagem mais avançados está essencialmente melhorando a compressão, o que facilita a inteligência. Apesar de discussões tão atraentes, há pouca evidência empírica sobre a interação entre compressão e inteligência. Neste trabalho, examinamos sua relação no contexto dos LLMs, tratando os LLMs como compressores de dados. Dado o conceito abstrato de "inteligência", adotamos as pontuações médias de benchmarks subsequentes como um substituto, especificamente visando inteligência relacionada a conhecimento e senso comum, codificação e raciocínio matemático. Em 12 benchmarks, nosso estudo reúne 30 LLMs públicos que se originam de diversas organizações. Notavelmente, descobrimos que a inteligência dos LLMs — refletida pelas pontuações médias dos benchmarks — quase linearmente correlaciona-se com sua capacidade de comprimir corpora de texto externos. Esses resultados fornecem evidências concretas que apoiam a crença de que uma compressão superior indica maior inteligência. Além disso, nossas descobertas sugerem que a eficiência de compressão, como uma métrica não supervisionada derivada de corpora de texto brutos, serve como uma medida de avaliação confiável que está linearmente associada às capacidades do modelo. Disponibilizamos nossos conjuntos de dados de compressão, bem como nossos pipelines de coleta de dados, para facilitar que pesquisadores futuros avaliem a compressão adequadamente.

English

There is a belief that learning to compress well will lead to intelligence. Recently, language modeling has been shown to be equivalent to compression, which offers a compelling rationale for the success of large language models (LLMs): the development of more advanced language models is essentially enhancing compression which facilitates intelligence. Despite such appealing discussions, little empirical evidence is present for the interplay between compression and intelligence. In this work, we examine their relationship in the context of LLMs, treating LLMs as data compressors. Given the abstract concept of "intelligence", we adopt the average downstream benchmark scores as a surrogate, specifically targeting intelligence related to knowledge and commonsense, coding, and mathematical reasoning. Across 12 benchmarks, our study brings together 30 public LLMs that originate from diverse organizations. Remarkably, we find that LLMs' intelligence -- reflected by average benchmark scores -- almost linearly correlates with their ability to compress external text corpora. These results provide concrete evidence supporting the belief that superior compression indicates greater intelligence. Furthermore, our findings suggest that compression efficiency, as an unsupervised metric derived from raw text corpora, serves as a reliable evaluation measure that is linearly associated with the model capabilities. We open-source our compression datasets as well as our data collection pipelines to facilitate future researchers to assess compression properly.