Adams Gesetz: Das Gesetz der textuellen Häufigkeit bei großen Sprachmodellen
Adam's Law: Textual Frequency Law on Large Language Models
April 2, 2026
Autoren: Hongyuan Adam Lu, Z. L., Victor Wei, Zefan Zhang, Zhao Hong, Qiqi Xiang, Bowen Cao, Wai Lam
cs.AI
Zusammenfassung
Während die Textfrequenz als relevant für die menschliche Kognition bei der Lesegeschwindigkeit validiert wurde, ist ihre Beziehung zu Large Language Models (LLMs) kaum erforscht. Wir schlagen, unseres Wissens nach erstmals, eine neue Forschungsrichtung in Bezug auf die Textdatenfrequenz vor, ein bislang wenig untersuchtes Thema. Unser Framework besteht aus drei Einheiten. Erstens schlägt dieses Papier das Textfrequenzgesetz (Textual Frequency Law, TFL) vor, welches besagt, dass für LLMs bei Prompting und Fine-Tuning häufige Textdaten zu bevorzugen sind. Da viele LLMs bezüglich ihrer Trainingsdaten Closed-Source sind, schlagen wir vor, Online-Ressourcen zur Schätzung der Satzfrequenz zu nutzen. Anschließend verwenden wir einen Input-Paraphraser, um die Eingabe in einen häufigeren textuellen Ausdruck umzuformulieren. Als nächstes schlagen wir Textual Frequency Distillation (TFD) vor, bei der LLMs abgefragt werden, um Geschichten durch die weitere Erweiterung von Sätzen in den Datensätzen zu vervollständigen; die resultierenden Korpora werden zur Anpassung der anfänglichen Schätzung verwendet. Schließlich schlagen wir Curriculum Textual Frequency Training (CTFT) vor, bei dem LLMs in einer aufsteigenden Reihenfolge der Satzfrequenz feinabgestimmt werden. Experimente werden auf unserem kuratierten Datensatz Textual Frequency Paired Dataset (TFPD) in den Bereichen mathematisches Reasoning, maschinelle Übersetzung, Common-Sense-Reasoning und agentenbasiertes Tool Calling durchgeführt. Die Ergebnisse zeigen die Wirksamkeit unseres Frameworks.
English
While textual frequency has been validated as relevant to human cognition in reading speed, its relatedness to Large Language Models (LLMs) is seldom studied. We propose a novel research direction in terms of textual data frequency, which is an understudied topic, to the best of our knowledge. Our framework is composed of three units. First, this paper proposes Textual Frequency Law (TFL), which indicates that frequent textual data should be preferred for LLMs for both prompting and fine-tuning. Since many LLMs are closed-source in their training data, we propose using online resources to estimate the sentence-level frequency. We then utilize an input paraphraser to paraphrase the input into a more frequent textual expression. Next, we propose Textual Frequency Distillation (TFD) by querying LLMs to conduct story completion by further extending the sentences in the datasets, and the resulting corpora are used to adjust the initial estimation. Finally, we propose Curriculum Textual Frequency Training (CTFT) that fine-tunes LLMs in an increasing order of sentence-level frequency. Experiments are conducted on our curated dataset Textual Frequency Paired Dataset (TFPD) on math reasoning, machine translation, commonsense reasoning and agentic tool calling. Results show the effectiveness of our framework.