Закон Адама: Закон текстовой частоты в больших языковых моделях
Adam's Law: Textual Frequency Law on Large Language Models
April 2, 2026
Авторы: Hongyuan Adam Lu, Z. L., Victor Wei, Zefan Zhang, Zhao Hong, Qiqi Xiang, Bowen Cao, Wai Lam
cs.AI
Аннотация
Хотя текстовая частотность подтверждена как значимый фактор человеческого когнитивного восприятия при оценке скорости чтения, её связь с большими языковыми моделями (БЯМ) изучена недостаточно. Мы предлагаем новое направление исследований, посвящённое частотности текстовых данных — теме, которая, насколько нам известно, остаётся малоизученной. Наша методологическая рамка состоит из трёх модулей. Во-первых, в работе формулируется Закон текстовой частотности (Textual Frequency Law, TFL), согласно которому для взаимодействия с БЯМ (как при промптинге, так и при дообучении) следует предпочитать текстовые данные с высокой частотностью. Поскольку данные обучения многих БЯМ являются закрытыми, мы предлагаем использовать открытые онлайн-ресурсы для оценки частотности на уровне предложений. Затем применяется парафразер входных данных для преобразования исходного текста в более частотное выражение. Далее предлагается метод Дистилляции текстовой частотности (Textual Frequency Distillation, TFD), при котором БЯМ используется для завершения повествования путём расширения предложений из наборов данных, а результирующий корпус применяется для корректировки первоначальной оценки. Наконец, мы представляем Curriculum Textual Frequency Training (CTFT) — стратегию дообучения БЯМ в порядке возрастания частотности предложений. Эксперименты проводятся на специально созданном нами наборе данных Textual Frequency Paired Dataset (TFPD) для задач математических рассуждений, машинного перевода, логического вывода и инструментального вызова агентов. Результаты подтверждают эффективность предложенного подхода.
English
While textual frequency has been validated as relevant to human cognition in reading speed, its relatedness to Large Language Models (LLMs) is seldom studied. We propose a novel research direction in terms of textual data frequency, which is an understudied topic, to the best of our knowledge. Our framework is composed of three units. First, this paper proposes Textual Frequency Law (TFL), which indicates that frequent textual data should be preferred for LLMs for both prompting and fine-tuning. Since many LLMs are closed-source in their training data, we propose using online resources to estimate the sentence-level frequency. We then utilize an input paraphraser to paraphrase the input into a more frequent textual expression. Next, we propose Textual Frequency Distillation (TFD) by querying LLMs to conduct story completion by further extending the sentences in the datasets, and the resulting corpora are used to adjust the initial estimation. Finally, we propose Curriculum Textual Frequency Training (CTFT) that fine-tunes LLMs in an increasing order of sentence-level frequency. Experiments are conducted on our curated dataset Textual Frequency Paired Dataset (TFPD) on math reasoning, machine translation, commonsense reasoning and agentic tool calling. Results show the effectiveness of our framework.