Lei de Adam: Lei da Frequência Textual em Modelos de Linguagem de Grande Escala
Adam's Law: Textual Frequency Law on Large Language Models
April 2, 2026
Autores: Hongyuan Adam Lu, Z. L., Victor Wei, Zefan Zhang, Zhao Hong, Qiqi Xiang, Bowen Cao, Wai Lam
cs.AI
Resumo
Embora a frequência textual tenha sido validada como relevante para a cognição humana na velocidade de leitura, sua relação com os Grandes Modelos de Linguagem (LLMs) raramente é estudada. Propomos uma nova direção de pesquisa em termos da frequência dos dados textuais, que, até onde sabemos, é um tópico pouco explorado. Nosso framework é composto por três unidades. Primeiro, este artigo propõe a Lei da Frequência Textual (TFL), que indica que dados textuais frequentes devem ser preferidos para LLMs, tanto para *prompting* quanto para *fine-tuning*. Visto que muitos LLMs são de código fechado em relação aos seus dados de treinamento, propomos usar recursos online para estimar a frequência em nível de sentença. Em seguida, utilizamos um parafraseador de entrada para parafrasear o *input* em uma expressão textual mais frequente. A seguir, propomos a Destilação de Frequência Textual (TFD) consultando LLMs para realizar a conclusão de histórias, estendendo ainda mais as sentenças nos conjuntos de dados, e os corpora resultantes são usados para ajustar a estimativa inicial. Por fim, propomos o Treinamento Curricular por Frequência Textual (CTFT), que ajusta LLMs em uma ordem crescente de frequência em nível de sentença. Experimentos são conduzidos em nosso conjunto de dados curado, o Conjunto de Dados Emparelhados por Frequência Textual (TFPD), sobre raciocínio matemático, tradução automática, raciocínio de senso comum e chamadas de ferramentas agentivas. Os resultados mostram a eficácia do nosso framework.
English
While textual frequency has been validated as relevant to human cognition in reading speed, its relatedness to Large Language Models (LLMs) is seldom studied. We propose a novel research direction in terms of textual data frequency, which is an understudied topic, to the best of our knowledge. Our framework is composed of three units. First, this paper proposes Textual Frequency Law (TFL), which indicates that frequent textual data should be preferred for LLMs for both prompting and fine-tuning. Since many LLMs are closed-source in their training data, we propose using online resources to estimate the sentence-level frequency. We then utilize an input paraphraser to paraphrase the input into a more frequent textual expression. Next, we propose Textual Frequency Distillation (TFD) by querying LLMs to conduct story completion by further extending the sentences in the datasets, and the resulting corpora are used to adjust the initial estimation. Finally, we propose Curriculum Textual Frequency Training (CTFT) that fine-tunes LLMs in an increasing order of sentence-level frequency. Experiments are conducted on our curated dataset Textual Frequency Paired Dataset (TFPD) on math reasoning, machine translation, commonsense reasoning and agentic tool calling. Results show the effectiveness of our framework.