Craw4LLM: Efficiënt webcrawlen voor LLM-pretraining

Craw4LLM: Efficient Web Crawling for LLM Pretraining

February 19, 2025

Auteurs: Shi Yu, Zhiyuan Liu, Chenyan Xiong

cs.AI

Samenvatting

Webcrawling is een belangrijke bron van vooraf getrainde data voor grote taalmodellen (LLMs), maar het merendeel van de gecrawlde webpagina's wordt tijdens het vooraf trainen weggegooid vanwege lage data-kwaliteit. Dit artikel presenteert Crawl4LLM, een efficiënte webcrawling-methode die het webgrafiek verkent op basis van de voorkeuren van LLM-vooraf training. Specifiek maakt het gebruik van de invloed van een webpagina in LLM-vooraf training als de prioriteitsscore van de scheduler van de webcrawler, wat de standaard prioriteit op basis van grafiekconnectiviteit vervangt. Onze experimenten op een webgrafiek met 900 miljoen webpagina's uit de index van een commerciële zoekmachine tonen de efficiëntie van Crawl4LLM aan in het verkrijgen van hoogwaardige vooraf getrainde data. Met slechts 21% van de URL's gecrawld, bereiken LLMs die zijn vooraf getraind op Crawl4LLM-data dezelfde downstream-prestaties als eerdere crawls, wat de verspilling bij het crawlen aanzienlijk vermindert en de belasting op websites verlicht. Onze code is openbaar beschikbaar op https://github.com/cxcscmu/Crawl4LLM.

English

Web crawl is a main source of large language models' (LLMs) pretraining data, but the majority of crawled web pages are discarded in pretraining due to low data quality. This paper presents Crawl4LLM, an efficient web crawling method that explores the web graph based on the preference of LLM pretraining. Specifically, it leverages the influence of a webpage in LLM pretraining as the priority score of the web crawler's scheduler, replacing the standard graph connectivity based priority. Our experiments on a web graph containing 900 million webpages from a commercial search engine's index demonstrate the efficiency of Crawl4LLM in obtaining high-quality pretraining data. With just 21% URLs crawled, LLMs pretrained on Crawl4LLM data reach the same downstream performances of previous crawls, significantly reducing the crawling waste and alleviating the burdens on websites. Our code is publicly available at https://github.com/cxcscmu/Crawl4LLM.