Физика в предсказании следующего токена

Physics in Next-token Prediction

November 1, 2024

Авторы: Hongjun An, Yiliang Song, Xuelong Li

cs.AI

Аннотация

Мы обнаружили основную физику в предсказании следующего токена (NTP). Мы выявили закон сохранения информации в рамках NTP и предложили Первый Закон Информационной Емкости (IC-1), демонстрируя, что суть возникновения интеллекта в авторегрессионных моделях фундаментально является процессом передачи информации. Мы также внедрили Принцип Ландауэра в NTP, сформулировав Второй Закон Информационной Емкости (IC-2), который устанавливает связь между обучением авторегрессионной модели и энергопотреблением. Кроме того, мы представили несколько следствий, которые имеют практическое значение для производственных практик. Наконец, мы подтвердили совместимость и дополняемость наших результатов с существующими теориями.

English

We discovered the underlying physics in Next-token Prediction (NTP). We identified the law of information conservation within NTP and proposed the First Law of Information Capacity (IC-1), demonstrating that the essence of intelligence emergence in auto-regressive models is fundamentally a process of information transfer. We also introduced Landauer's Principle into NTP, formulating the Second Law of Information Capacity (IC-2), which establishes the relationship between auto-regressive model training and energy consumption. Additionally, we presented several corollaries, which hold practical significance for production practices. Finally, we validated the compatibility and complementarity of our findings with existing theories.