Compressie vertegenwoordigt intelligentie lineair

Compression Represents Intelligence Linearly

April 15, 2024

Auteurs: Yuzhen Huang, Jinghan Zhang, Zifei Shan, Junxian He

cs.AI

Samenvatting

Er bestaat een overtuiging dat goed leren comprimeren tot intelligentie zal leiden. Recentelijk is aangetoond dat taalmodelvorming equivalent is aan compressie, wat een overtuigende verklaring biedt voor het succes van grote taalmodelen (LLM's): de ontwikkeling van geavanceerdere taalmodelen komt in essentie neer op het verbeteren van compressie, wat intelligentie bevordert. Ondanks deze aantrekkelijke discussies is er weinig empirisch bewijs voor de wisselwerking tussen compressie en intelligent. In dit werk onderzoeken we hun relatie in de context van LLM's, waarbij we LLM's behandelen als datacompressoren. Gezien het abstracte concept van "intelligent", nemen we de gemiddelde scores van downstream benchmarks als surrogaat, specifiek gericht op intelligentie gerelateerd aan kennis en gezond verstand, coderen en wiskundig redeneren. Over 12 benchmarks brengt onze studie 30 openbare LLM's samen die afkomstig zijn van diverse organisaties. Opmerkelijk genoeg vinden we dat de intelligentie van LLM's — weerspiegeld door gemiddelde benchmarkscores — bijna lineair correleert met hun vermogen om externe tekstcorpora te comprimeren. Deze resultaten bieden concreet bewijs ter ondersteuning van de overtuiging dat superieure compressie wijst op grotere intelligentie. Bovendien suggereren onze bevindingen dat compressie-efficiëntie, als een onbewaakte metriek afgeleid van ruwe tekstcorpora, dient als een betrouwbare evaluatiemaatstaf die lineair geassocieerd is met de modelcapaciteiten. We open-sourcen onze compressiedatasets evenals onze datacollectiepijplijnen om toekomstige onderzoekers in staat te stellen compressie op de juiste manier te beoordelen.

English

There is a belief that learning to compress well will lead to intelligence. Recently, language modeling has been shown to be equivalent to compression, which offers a compelling rationale for the success of large language models (LLMs): the development of more advanced language models is essentially enhancing compression which facilitates intelligence. Despite such appealing discussions, little empirical evidence is present for the interplay between compression and intelligence. In this work, we examine their relationship in the context of LLMs, treating LLMs as data compressors. Given the abstract concept of "intelligence", we adopt the average downstream benchmark scores as a surrogate, specifically targeting intelligence related to knowledge and commonsense, coding, and mathematical reasoning. Across 12 benchmarks, our study brings together 30 public LLMs that originate from diverse organizations. Remarkably, we find that LLMs' intelligence -- reflected by average benchmark scores -- almost linearly correlates with their ability to compress external text corpora. These results provide concrete evidence supporting the belief that superior compression indicates greater intelligence. Furthermore, our findings suggest that compression efficiency, as an unsupervised metric derived from raw text corpora, serves as a reliable evaluation measure that is linearly associated with the model capabilities. We open-source our compression datasets as well as our data collection pipelines to facilitate future researchers to assess compression properly.