애덤의 법칙: 대규모 언어 모델에 대한 텍스트 빈도 법칙

초록

텍스트 빈도가 읽기 속도에서 인간 인지와 관련이 있음이 입증되었으나, 대규모 언어 모델(LLM)과의 관련성은 거의 연구된 바가 없습니다. 본 연구는 지식 범위 내에서 미개척 주제인 텍스트 데이터 빈도 측면에서 새로운 연구 방향을 제안합니다. 우리의 프레임워크는 세 가지 단위로 구성됩니다. 첫째, 본 논문은 프롬프팅과 미세 조정 모두에서 LLM에 대해 빈도가 높은 텍스트 데이터가 선호되어야 함을 나타내는 텍스트 빈도 법칙(TFL)을 제안합니다. 많은 LLM의 훈련 데이터가 비공개이므로, 온라인 자원을 활용하여 문장 수준의 빈도를 추정하는 방법을 제안합니다. 이후 입력 패러프레이저를 활용하여 입력을 더 빈번한 텍스트 표현으로 변환합니다. 다음으로, LLM에 데이터셋의 문장을 추가로 확장하여 이야기 완성을 수행하도록 요청함으로써 텍스트 빈도 증류(TFD)를 제안하며, 그 결과 생성된 코퍼스는 초기 추정값을 조정하는 데 사용됩니다. 마지막으로, 문장 수준 빈도가 증가하는 순서로 LLM을 미세 조정하는 커리큘럼 텍스트 빈도 훈련(CTFT)을 제안합니다. 수학적 추론, 기계 번역, 상식 추론 및 에이전트 도구 호출 분야에서 우리가 구축한 Textual Frequency Paired Dataset(TFPD)을 대상으로 실험을 진행한 결과, 본 프레임워크의 효과성이 입증되었습니다.

English

While textual frequency has been validated as relevant to human cognition in reading speed, its relatedness to Large Language Models (LLMs) is seldom studied. We propose a novel research direction in terms of textual data frequency, which is an understudied topic, to the best of our knowledge. Our framework is composed of three units. First, this paper proposes Textual Frequency Law (TFL), which indicates that frequent textual data should be preferred for LLMs for both prompting and fine-tuning. Since many LLMs are closed-source in their training data, we propose using online resources to estimate the sentence-level frequency. We then utilize an input paraphraser to paraphrase the input into a more frequent textual expression. Next, we propose Textual Frequency Distillation (TFD) by querying LLMs to conduct story completion by further extending the sentences in the datasets, and the resulting corpora are used to adjust the initial estimation. Finally, we propose Curriculum Textual Frequency Training (CTFT) that fine-tunes LLMs in an increasing order of sentence-level frequency. Experiments are conducted on our curated dataset Textual Frequency Paired Dataset (TFPD) on math reasoning, machine translation, commonsense reasoning and agentic tool calling. Results show the effectiveness of our framework.

애덤의 법칙: 대규모 언어 모델에 대한 텍스트 빈도 법칙

Adam's Law: Textual Frequency Law on Large Language Models

초록

Support