Сжатие представляет интеллект линейно.

Compression Represents Intelligence Linearly

April 15, 2024

Авторы: Yuzhen Huang, Jinghan Zhang, Zifei Shan, Junxian He

cs.AI

Аннотация

Существует мнение, что умение хорошо сжимать информацию приведет к развитию интеллекта. Недавно было показано, что моделирование языка эквивалентно сжатию, что предоставляет убедительное обоснование успеха больших моделей языка (LLM): развитие более продвинутых языковых моделей, по сути, улучшает сжатие, что способствует развитию интеллекта. Несмотря на такие привлекательные обсуждения, мало эмпирических доказательств о взаимосвязи между сжатием и интеллектом. В данной работе мы исследуем их взаимосвязь в контексте LLM, рассматривая LLM как сжиматели данных. Учитывая абстрактное понятие "интеллекта", мы принимаем средние оценки бенчмарков как замену, специально нацеленную на интеллект, связанный с знаниями и здравым смыслом, кодированием и математическим мышлением. В рамках 12 бенчмарков наше исследование объединяет 30 общедоступных LLM, происходящих из различных организаций. Замечательно, что мы обнаруживаем, что интеллект LLM, отраженный средними оценками бенчмарков, почти линейно коррелирует с их способностью сжимать внешние текстовые корпуса. Эти результаты предоставляют конкретные доказательства, подтверждающие мнение о том, что превосходное сжатие указывает на более высокий уровень интеллекта. Более того, наши результаты показывают, что эффективность сжатия, как неконтролируемая метрика, происходящая из исходных текстовых корпусов, служит надежной оценочной мерой, которая линейно связана с возможностями модели. Мы открываем наши наборы данных по сжатию, а также наши процессы сбора данных, чтобы облегчить будущим исследователям оценку сжатия в должной мере.

English

There is a belief that learning to compress well will lead to intelligence. Recently, language modeling has been shown to be equivalent to compression, which offers a compelling rationale for the success of large language models (LLMs): the development of more advanced language models is essentially enhancing compression which facilitates intelligence. Despite such appealing discussions, little empirical evidence is present for the interplay between compression and intelligence. In this work, we examine their relationship in the context of LLMs, treating LLMs as data compressors. Given the abstract concept of "intelligence", we adopt the average downstream benchmark scores as a surrogate, specifically targeting intelligence related to knowledge and commonsense, coding, and mathematical reasoning. Across 12 benchmarks, our study brings together 30 public LLMs that originate from diverse organizations. Remarkably, we find that LLMs' intelligence -- reflected by average benchmark scores -- almost linearly correlates with their ability to compress external text corpora. These results provide concrete evidence supporting the belief that superior compression indicates greater intelligence. Furthermore, our findings suggest that compression efficiency, as an unsupervised metric derived from raw text corpora, serves as a reliable evaluation measure that is linearly associated with the model capabilities. We open-source our compression datasets as well as our data collection pipelines to facilitate future researchers to assess compression properly.