Craw4LLM: 大規模言語モデル事前学習のための効率的なウェブクローリング

Craw4LLM: Efficient Web Crawling for LLM Pretraining

February 19, 2025

著者: Shi Yu, Zhiyuan Liu, Chenyan Xiong

cs.AI

要旨

ウェブクロールは大規模言語モデル（LLM）の事前学習データの主要なソースですが、データ品質が低いため、クロールされたウェブページの大部分は事前学習で破棄されます。本論文では、LLM事前学習の選好に基づいてウェブグラフを探索する効率的なウェブクロール手法「Crawl4LLM」を提案します。具体的には、ウェブページのLLM事前学習への影響度をウェブクローラのスケジューラの優先度スコアとして活用し、標準的なグラフ接続性に基づく優先度を置き換えます。商用検索エンジンのインデックスから取得した9億のウェブページを含むウェブグラフでの実験により、Crawl4LLMが高品質な事前学習データを効率的に取得できることを実証しました。わずか21%のURLをクロールするだけで、Crawl4LLMのデータで事前学習したLLMは従来のクロールと同等の下流タスク性能を達成し、クロールの無駄を大幅に削減し、ウェブサイトへの負担を軽減します。コードはhttps://github.com/cxcscmu/Crawl4LLMで公開されています。

English

Web crawl is a main source of large language models' (LLMs) pretraining data, but the majority of crawled web pages are discarded in pretraining due to low data quality. This paper presents Crawl4LLM, an efficient web crawling method that explores the web graph based on the preference of LLM pretraining. Specifically, it leverages the influence of a webpage in LLM pretraining as the priority score of the web crawler's scheduler, replacing the standard graph connectivity based priority. Our experiments on a web graph containing 900 million webpages from a commercial search engine's index demonstrate the efficiency of Crawl4LLM in obtaining high-quality pretraining data. With just 21% URLs crawled, LLMs pretrained on Crawl4LLM data reach the same downstream performances of previous crawls, significantly reducing the crawling waste and alleviating the burdens on websites. Our code is publicly available at https://github.com/cxcscmu/Crawl4LLM.