Legge di Adam: Legge della Frequenza Testuale sui Grandi Modelli Linguistici
Adam's Law: Textual Frequency Law on Large Language Models
April 2, 2026
Autori: Hongyuan Adam Lu, Z. L., Victor Wei, Zefan Zhang, Zhao Hong, Qiqi Xiang, Bowen Cao, Wai Lam
cs.AI
Abstract
Sebbene la frequenza testuale sia stata validata come rilevante per la cognizione umana nella velocità di lettura, la sua relazione con i Large Language Model (LLM) è raramente studiata. Proponiamo una nuova direzione di ricerca incentrata sulla frequenza dei dati testuali, un argomento poco esplorato, per quanto a nostra conoscenza. Il nostro framework è composto da tre unità. Innanzitutto, questo articolo propone la Legge della Frequenza Testuale (TFL), la quale indica che i dati testuali frequenti dovrebbero essere preferiti per gli LLM sia nel prompting che nel fine-tuning. Poiché molti LLM hanno dati di addestramento closed-source, proponiamo di utilizzare risorse online per stimare la frequenza a livello di frase. Utilizziamo quindi un parafrasatore di input per riformulare l'input in un'espressione testuale più frequente. Successivamente, proponiamo la Distillazione della Frequenza Testuale (TFD) interrogando gli LLM per completare storie estendendo ulteriormente le frasi nei dataset, e i corpora risultanti vengono utilizzati per perfezionare la stima iniziale. Infine, proponiamo l'Addestramento Curriculare per Frequenza Testuale (CTFT) che effettua il fine-tuning degli LLM in ordine crescente di frequenza a livello di frase. Gli esperimenti sono condotti sul nostro dataset curato, il Textual Frequency Paired Dataset (TFPD), su ragionamento matematico, traduzione automatica, ragionamento di senso comune e chiamate di strumenti agentici. I risultati dimostrano l'efficacia del nostro framework.
English
While textual frequency has been validated as relevant to human cognition in reading speed, its relatedness to Large Language Models (LLMs) is seldom studied. We propose a novel research direction in terms of textual data frequency, which is an understudied topic, to the best of our knowledge. Our framework is composed of three units. First, this paper proposes Textual Frequency Law (TFL), which indicates that frequent textual data should be preferred for LLMs for both prompting and fine-tuning. Since many LLMs are closed-source in their training data, we propose using online resources to estimate the sentence-level frequency. We then utilize an input paraphraser to paraphrase the input into a more frequent textual expression. Next, we propose Textual Frequency Distillation (TFD) by querying LLMs to conduct story completion by further extending the sentences in the datasets, and the resulting corpora are used to adjust the initial estimation. Finally, we propose Curriculum Textual Frequency Training (CTFT) that fine-tunes LLMs in an increasing order of sentence-level frequency. Experiments are conducted on our curated dataset Textual Frequency Paired Dataset (TFPD) on math reasoning, machine translation, commonsense reasoning and agentic tool calling. Results show the effectiveness of our framework.