압축은 지능을 선형적으로 나타낸다

Compression Represents Intelligence Linearly

April 15, 2024

저자: Yuzhen Huang, Jinghan Zhang, Zifei Shan, Junxian He

cs.AI

초록

압축을 잘 배우는 것이 지능으로 이어진다는 믿음이 있습니다. 최근 언어 모델링이 압축과 동등하다는 것이 밝혀졌으며, 이는 대규모 언어 모델(LLM)의 성공에 대한 설득력 있는 근거를 제공합니다: 더 발전된 언어 모델의 개발은 본질적으로 압축을 향상시키는 것이며, 이는 지능을 촉진합니다. 이러한 매력적인 논의에도 불구하고, 압축과 지능 간의 상호작용에 대한 경험적 증거는 거의 없습니다. 본 연구에서는 LLM을 데이터 압축기로 간주하여 LLM의 맥락에서 이 둘의 관계를 조사합니다. "지능"이라는 추상적인 개념을 감안하여, 우리는 평균 다운스트림 벤치마크 점수를 대리 지표로 채택하며, 특히 지식과 상식, 코딩, 수학적 추론과 관련된 지능을 대상으로 합니다. 12개의 벤치마크에 걸쳐, 우리의 연구는 다양한 조직에서 출발한 30개의 공개 LLM을 종합합니다. 주목할 만하게도, 우리는 LLM의 지능(평균 벤치마크 점수로 반영됨)이 외부 텍스트 코퍼스를 압축하는 능력과 거의 선형적으로 상관관계가 있음을 발견했습니다. 이러한 결과는 우수한 압축이 더 큰 지능을 나타낸다는 믿음을 뒷받침하는 구체적인 증거를 제공합니다. 더 나아가, 우리의 연구 결과는 원시 텍스트 코퍼스에서 도출된 비지표적 지표인 압축 효율성이 모델 능력과 선형적으로 연관된 신뢰할 수 있는 평가 척도로 작용함을 시사합니다. 우리는 향후 연구자들이 압축을 적절히 평가할 수 있도록 압축 데이터셋과 데이터 수집 파이프라인을 오픈소스로 공개합니다.

English

There is a belief that learning to compress well will lead to intelligence. Recently, language modeling has been shown to be equivalent to compression, which offers a compelling rationale for the success of large language models (LLMs): the development of more advanced language models is essentially enhancing compression which facilitates intelligence. Despite such appealing discussions, little empirical evidence is present for the interplay between compression and intelligence. In this work, we examine their relationship in the context of LLMs, treating LLMs as data compressors. Given the abstract concept of "intelligence", we adopt the average downstream benchmark scores as a surrogate, specifically targeting intelligence related to knowledge and commonsense, coding, and mathematical reasoning. Across 12 benchmarks, our study brings together 30 public LLMs that originate from diverse organizations. Remarkably, we find that LLMs' intelligence -- reflected by average benchmark scores -- almost linearly correlates with their ability to compress external text corpora. These results provide concrete evidence supporting the belief that superior compression indicates greater intelligence. Furthermore, our findings suggest that compression efficiency, as an unsupervised metric derived from raw text corpora, serves as a reliable evaluation measure that is linearly associated with the model capabilities. We open-source our compression datasets as well as our data collection pipelines to facilitate future researchers to assess compression properly.