Adams wet: Wet van tekstuele frequentie voor grote taalmodelmodellen
Adam's Law: Textual Frequency Law on Large Language Models
April 2, 2026
Auteurs: Hongyuan Adam Lu, Z. L., Victor Wei, Zefan Zhang, Zhao Hong, Qiqi Xiang, Bowen Cao, Wai Lam
cs.AI
Samenvatting
Hoewel tekstfrequentie is gevalideerd als relevant voor de menselijke cognitie bij leessnelheid, is de relatie met Large Language Models (LLMs) zelden bestudeerd. Wij stellen een nieuwe onderzoeksrichting voor met betrekking tot tekstdatafrequentie, een onderbelicht onderwerp voor zover ons bekend. Ons raamwerk bestaat uit drie eenheden. Ten eerste stelt dit artikel de Textuele Frequentiewet (Textual Frequency Law, TFL) voor, welke stelt dat frequente tekstdata de voorkeur verdient voor LLMs, zowel voor prompting als fine-tuning. Aangezien de trainingsdata van veel LLMs gesloten zijn, stellen we voor om online bronnen te gebruiken om de frequentie op zinsniveau te schatten. Vervolgens gebruiken we een invoerparafraseerder om de invoer te herformuleren naar een frequentere tekstuele expressie. Vervolgens stellen we Textuele Frequentie Distillatie (Textual Frequency Distillation, TFD) voor door LLMs te bevragen om verhaalvoltooiing uit te voeren door zinnen in de datasets verder uit te breiden, en de resulterende corpora worden gebruikt om de initiële schatting aan te passen. Ten slotte stellen we Curriculum Textuele Frequentie Training (Curriculum Textual Frequency Training, CTFT) voor, waarbij LLMs worden gefinetuned in een oplopende volgorde van zinsfrequentie. Experimenten worden uitgevoerd op onze samengestelde dataset Textual Frequency Paired Dataset (TFPD) voor wiskundig redeneren, machinaal vertalen, gezond verstand redeneren en agent-gestuurde toolaanroeping. Resultaten tonen de effectiviteit van ons raamwerk aan.
English
While textual frequency has been validated as relevant to human cognition in reading speed, its relatedness to Large Language Models (LLMs) is seldom studied. We propose a novel research direction in terms of textual data frequency, which is an understudied topic, to the best of our knowledge. Our framework is composed of three units. First, this paper proposes Textual Frequency Law (TFL), which indicates that frequent textual data should be preferred for LLMs for both prompting and fine-tuning. Since many LLMs are closed-source in their training data, we propose using online resources to estimate the sentence-level frequency. We then utilize an input paraphraser to paraphrase the input into a more frequent textual expression. Next, we propose Textual Frequency Distillation (TFD) by querying LLMs to conduct story completion by further extending the sentences in the datasets, and the resulting corpora are used to adjust the initial estimation. Finally, we propose Curriculum Textual Frequency Training (CTFT) that fine-tunes LLMs in an increasing order of sentence-level frequency. Experiments are conducted on our curated dataset Textual Frequency Paired Dataset (TFPD) on math reasoning, machine translation, commonsense reasoning and agentic tool calling. Results show the effectiveness of our framework.