Física en la Predicción del Próximo Token

Physics in Next-token Prediction

November 1, 2024

Autores: Hongjun An, Yiliang Song, Xuelong Li

cs.AI

Resumen

Descubrimos la física subyacente en la Predicción del Próximo Token (PPT). Identificamos la ley de conservación de la información dentro de la PPT y propusimos la Primera Ley de Capacidad de Información (CI-1), demostrando que la esencia de la emergencia de la inteligencia en modelos autorregresivos es fundamentalmente un proceso de transferencia de información. También introdujimos el Principio de Landauer en la PPT, formulando la Segunda Ley de Capacidad de Información (CI-2), que establece la relación entre el entrenamiento de modelos autorregresivos y el consumo de energía. Además, presentamos varios corolarios, que tienen significado práctico para las prácticas de producción. Finalmente, validamos la compatibilidad y complementariedad de nuestros hallazgos con las teorías existentes.

English

We discovered the underlying physics in Next-token Prediction (NTP). We identified the law of information conservation within NTP and proposed the First Law of Information Capacity (IC-1), demonstrating that the essence of intelligence emergence in auto-regressive models is fundamentally a process of information transfer. We also introduced Landauer's Principle into NTP, formulating the Second Law of Information Capacity (IC-2), which establishes the relationship between auto-regressive model training and energy consumption. Additionally, we presented several corollaries, which hold practical significance for production practices. Finally, we validated the compatibility and complementarity of our findings with existing theories.