Craw4LLM: Эффективный веб-краулинг для предварительного обучения языковых моделей

Craw4LLM: Efficient Web Crawling for LLM Pretraining

February 19, 2025

Авторы: Shi Yu, Zhiyuan Liu, Chenyan Xiong

cs.AI

Аннотация

Веб-краулинг является основным источником данных для предварительного обучения больших языковых моделей (LLM), однако большинство сканируемых веб-страниц отбрасываются из-за низкого качества данных. В данной статье представлен Crawl4LLM — эффективный метод веб-краулинга, который исследует веб-граф с учетом предпочтений для предварительного обучения LLM. В частности, он использует влияние веб-страницы на предварительное обучение LLM в качестве приоритетного показателя для планировщика веб-краулера, заменяя стандартный приоритет, основанный на связности графа. Наши эксперименты на веб-графе, содержащем 900 миллионов веб-страниц из индекса коммерческой поисковой системы, демонстрируют эффективность Crawl4LLM в получении высококачественных данных для предварительного обучения. При сканировании всего 21% URL-адресов LLM, обученные на данных Crawl4LLM, достигают тех же результатов на тестовых задачах, что и при использовании предыдущих методов краулинга, значительно сокращая объем ненужных данных и снижая нагрузку на веб-сайты. Наш код доступен по адресу https://github.com/cxcscmu/Crawl4LLM.

English

Web crawl is a main source of large language models' (LLMs) pretraining data, but the majority of crawled web pages are discarded in pretraining due to low data quality. This paper presents Crawl4LLM, an efficient web crawling method that explores the web graph based on the preference of LLM pretraining. Specifically, it leverages the influence of a webpage in LLM pretraining as the priority score of the web crawler's scheduler, replacing the standard graph connectivity based priority. Our experiments on a web graph containing 900 million webpages from a commercial search engine's index demonstrate the efficiency of Crawl4LLM in obtaining high-quality pretraining data. With just 21% URLs crawled, LLMs pretrained on Crawl4LLM data reach the same downstream performances of previous crawls, significantly reducing the crawling waste and alleviating the burdens on websites. Our code is publicly available at https://github.com/cxcscmu/Crawl4LLM.