Kompression stellt Intelligenz linear dar.

Compression Represents Intelligence Linearly

April 15, 2024

Autoren: Yuzhen Huang, Jinghan Zhang, Zifei Shan, Junxian He

cs.AI

Zusammenfassung

Es wird angenommen, dass das Erlernen einer guten Komprimierung zu Intelligenz führen wird. In letzter Zeit wurde gezeigt, dass Sprachmodellierung äquivalent zur Komprimierung ist, was eine überzeugende Begründung für den Erfolg großer Sprachmodelle (LLMs) bietet: Die Entwicklung fortschrittlicherer Sprachmodelle verbessert im Wesentlichen die Komprimierung, die Intelligenz erleichtert. Trotz solch ansprechender Diskussionen gibt es nur wenig empirische Beweise für das Zusammenspiel von Komprimierung und Intelligenz. In dieser Arbeit untersuchen wir ihre Beziehung im Kontext von LLMs und behandeln LLMs als Datenkomprimierer. Angesichts des abstrakten Konzepts der "Intelligenz" übernehmen wir die durchschnittlichen Benchmark-Ergebnisse als Surrogat, das speziell auf Intelligenz im Zusammenhang mit Wissen und gesundem Menschenverstand, Codierung und mathematischem Denken abzielt. Über 12 Benchmarks hinweg vereint unsere Studie 30 öffentliche LLMs aus verschiedenen Organisationen. Bemerkenswerterweise stellen wir fest, dass die Intelligenz der LLMs - reflektiert durch durchschnittliche Benchmark-Ergebnisse - fast linear mit ihrer Fähigkeit korreliert, externe Textcorpora zu komprimieren. Diese Ergebnisse liefern konkrete Beweise, die die Annahme unterstützen, dass eine überlegene Komprimierung eine größere Intelligenz anzeigt. Darüber hinaus legen unsere Ergebnisse nahe, dass die Komprimierungseffizienz als ein aus Rohtextcorpora abgeleitetes unüberwachtes Maß ein zuverlässiges Bewertungskriterium darstellt, das linear mit den Modellfähigkeiten verbunden ist. Wir stellen unsere Komprimierungsdatensätze sowie unsere Datensammlungspipelines als Open-Source zur Verfügung, um zukünftigen Forschern die ordnungsgemäße Bewertung der Komprimierung zu erleichtern.

English

There is a belief that learning to compress well will lead to intelligence. Recently, language modeling has been shown to be equivalent to compression, which offers a compelling rationale for the success of large language models (LLMs): the development of more advanced language models is essentially enhancing compression which facilitates intelligence. Despite such appealing discussions, little empirical evidence is present for the interplay between compression and intelligence. In this work, we examine their relationship in the context of LLMs, treating LLMs as data compressors. Given the abstract concept of "intelligence", we adopt the average downstream benchmark scores as a surrogate, specifically targeting intelligence related to knowledge and commonsense, coding, and mathematical reasoning. Across 12 benchmarks, our study brings together 30 public LLMs that originate from diverse organizations. Remarkably, we find that LLMs' intelligence -- reflected by average benchmark scores -- almost linearly correlates with their ability to compress external text corpora. These results provide concrete evidence supporting the belief that superior compression indicates greater intelligence. Furthermore, our findings suggest that compression efficiency, as an unsupervised metric derived from raw text corpora, serves as a reliable evaluation measure that is linearly associated with the model capabilities. We open-source our compression datasets as well as our data collection pipelines to facilitate future researchers to assess compression properly.