次のトークン予測における物理学

Physics in Next-token Prediction

November 1, 2024

著者: Hongjun An, Yiliang Song, Xuelong Li

cs.AI

要旨

次のトークン予測（NTP）における基礎物理を発見しました。NTP内での情報保存の法則を特定し、情報容量の第一法則（IC-1）を提案し、自己回帰モデルにおける知性の出現の本質が基本的に情報伝達のプロセスであることを実証しました。また、NTPにLandauerの原理を導入し、情報容量の第二法則（IC-2）を定式化し、自己回帰モデルのトレーニングとエネルギー消費との関係を確立しました。さらに、実用的な意義を持ついくつかの系結論を提示しました。最後に、既存の理論との互換性と補完性を検証しました。

English

We discovered the underlying physics in Next-token Prediction (NTP). We identified the law of information conservation within NTP and proposed the First Law of Information Capacity (IC-1), demonstrating that the essence of intelligence emergence in auto-regressive models is fundamentally a process of information transfer. We also introduced Landauer's Principle into NTP, formulating the Second Law of Information Capacity (IC-2), which establishes the relationship between auto-regressive model training and energy consumption. Additionally, we presented several corollaries, which hold practical significance for production practices. Finally, we validated the compatibility and complementarity of our findings with existing theories.