Loi d'Adam : Loi de fréquence textuelle sur les grands modèles de langage
Adam's Law: Textual Frequency Law on Large Language Models
April 2, 2026
Auteurs: Hongyuan Adam Lu, Z. L., Victor Wei, Zefan Zhang, Zhao Hong, Qiqi Xiang, Bowen Cao, Wai Lam
cs.AI
Résumé
Bien que la fréquence textuelle ait été validée comme pertinente pour la cognition humaine dans la vitesse de lecture, son lien avec les grands modèles de langage (LLM) est rarement étudié. Nous proposons une nouvelle orientation de recherche concernant la fréquence des données textuelles, un sujet peu exploré à notre connaissance. Notre cadre est composé de trois unités. Premièrement, cet article propose la Loi de Fréquence Textuelle (TFL), qui indique que les données textuelles fréquentes devraient être privilégiées pour les LLM, tant pour l'amorçage que pour le réglage fin. Étant donné que de nombreux LLM sont fermés quant à leurs données d'entraînement, nous proposons d'utiliser des ressources en ligne pour estimer la fréquence au niveau de la phrase. Nous utilisons ensuite un paraphraseur d'entrée pour reformuler l'entrée en une expression textuelle plus fréquente. Ensuite, nous proposons la Distillation de Fréquence Textuelle (TFD) en interrogeant les LLM pour réaliser une complétion d'histoire en étendant davantage les phrases des jeux de données, et les corpus résultants sont utilisés pour ajuster l'estimation initiale. Enfin, nous proposons l'Entraînement Curriculaire par Fréquence Textuelle (CTFT) qui effectue le réglage fin des LLM dans un ordre croissant de fréquence au niveau de la phrase. Des expériences sont menées sur notre jeu de données organisé, le Jeu de Données Appariées de Fréquence Textuelle (TFPD), concernant le raisonnement mathématique, la traduction automatique, le raisonnement de bon sens et l'utilisation d'outils agentiques. Les résultats montrent l'efficacité de notre cadre.
English
While textual frequency has been validated as relevant to human cognition in reading speed, its relatedness to Large Language Models (LLMs) is seldom studied. We propose a novel research direction in terms of textual data frequency, which is an understudied topic, to the best of our knowledge. Our framework is composed of three units. First, this paper proposes Textual Frequency Law (TFL), which indicates that frequent textual data should be preferred for LLMs for both prompting and fine-tuning. Since many LLMs are closed-source in their training data, we propose using online resources to estimate the sentence-level frequency. We then utilize an input paraphraser to paraphrase the input into a more frequent textual expression. Next, we propose Textual Frequency Distillation (TFD) by querying LLMs to conduct story completion by further extending the sentences in the datasets, and the resulting corpora are used to adjust the initial estimation. Finally, we propose Curriculum Textual Frequency Training (CTFT) that fine-tunes LLMs in an increasing order of sentence-level frequency. Experiments are conducted on our curated dataset Textual Frequency Paired Dataset (TFPD) on math reasoning, machine translation, commonsense reasoning and agentic tool calling. Results show the effectiveness of our framework.