La compression représente l'intelligence de manière linéaire.

Compression Represents Intelligence Linearly

April 15, 2024

Auteurs: Yuzhen Huang, Jinghan Zhang, Zifei Shan, Junxian He

cs.AI

Résumé

Il existe une croyance selon laquelle apprendre à bien compresser mènerait à l'intelligence. Récemment, il a été démontré que la modélisation du langage est équivalente à la compression, ce qui offre une justification convaincante pour le succès des grands modèles de langage (LLMs) : le développement de modèles de langage plus avancés améliore essentiellement la compression, ce qui facilite l'intelligence. Malgré ces discussions séduisantes, peu de preuves empiriques existent concernant l'interaction entre la compression et l'intelligence. Dans ce travail, nous examinons leur relation dans le contexte des LLMs, en traitant ces derniers comme des compresseurs de données. Étant donné le concept abstrait d'"intelligence", nous adoptons les scores moyens des benchmarks en aval comme un substitut, en ciblant spécifiquement l'intelligence liée à la connaissance et au bon sens, au codage, et au raisonnement mathématique. Sur 12 benchmarks, notre étude rassemble 30 LLMs publics provenant de diverses organisations. De manière remarquable, nous constatons que l'intelligence des LLMs -- reflétée par les scores moyens des benchmarks -- corrèle presque linéairement avec leur capacité à compresser des corpus de texte externes. Ces résultats fournissent des preuves concrètes soutenant la croyance qu'une compression supérieure indique une plus grande intelligence. De plus, nos découvertes suggèrent que l'efficacité de compression, en tant que métrique non supervisée dérivée de corpus de texte bruts, sert de mesure d'évaluation fiable qui est linéairement associée aux capacités du modèle. Nous mettons en open-source nos ensembles de données de compression ainsi que nos pipelines de collecte de données pour permettre aux futurs chercheurs d'évaluer correctement la compression.

English

There is a belief that learning to compress well will lead to intelligence. Recently, language modeling has been shown to be equivalent to compression, which offers a compelling rationale for the success of large language models (LLMs): the development of more advanced language models is essentially enhancing compression which facilitates intelligence. Despite such appealing discussions, little empirical evidence is present for the interplay between compression and intelligence. In this work, we examine their relationship in the context of LLMs, treating LLMs as data compressors. Given the abstract concept of "intelligence", we adopt the average downstream benchmark scores as a surrogate, specifically targeting intelligence related to knowledge and commonsense, coding, and mathematical reasoning. Across 12 benchmarks, our study brings together 30 public LLMs that originate from diverse organizations. Remarkably, we find that LLMs' intelligence -- reflected by average benchmark scores -- almost linearly correlates with their ability to compress external text corpora. These results provide concrete evidence supporting the belief that superior compression indicates greater intelligence. Furthermore, our findings suggest that compression efficiency, as an unsupervised metric derived from raw text corpora, serves as a reliable evaluation measure that is linearly associated with the model capabilities. We open-source our compression datasets as well as our data collection pipelines to facilitate future researchers to assess compression properly.