Craw4LLM: Effizientes Web-Crawling für das Pretraining von LLMs

Craw4LLM: Efficient Web Crawling for LLM Pretraining

February 19, 2025

Autoren: Shi Yu, Zhiyuan Liu, Chenyan Xiong

cs.AI

Zusammenfassung

Web-Crawling ist eine Hauptquelle für die Vortrainingsdaten von großen Sprachmodellen (LLMs), aber die Mehrheit der gecrawlten Webseiten wird aufgrund geringer Datenqualität beim Vortraining verworfen. Dieses Papier stellt Crawl4LLM vor, eine effiziente Web-Crawling-Methode, die das Webgraphen basierend auf den Präferenzen des LLM-Vortrainings erkundet. Insbesondere nutzt sie den Einfluss einer Webseite im LLM-Vortraining als Prioritätswert für den Scheduler des Web-Crawlers und ersetzt damit die standardmäßige Priorität, die auf der Graphenkonnektivität basiert. Unsere Experimente auf einem Webgraphen mit 900 Millionen Webseiten aus dem Index einer kommerziellen Suchmaschine demonstrieren die Effizienz von Crawl4LLM bei der Beschaffung hochwertiger Vortrainingsdaten. Mit nur 21 % der gecrawlten URLs erreichen LLMs, die auf Crawl4LLM-Daten vortrainiert wurden, die gleiche Downstream-Leistung wie bei früheren Crawls, wodurch der Crawling-Abfall erheblich reduziert und die Belastung für Websites verringert wird. Unser Code ist öffentlich verfügbar unter https://github.com/cxcscmu/Crawl4LLM.

English

Web crawl is a main source of large language models' (LLMs) pretraining data, but the majority of crawled web pages are discarded in pretraining due to low data quality. This paper presents Crawl4LLM, an efficient web crawling method that explores the web graph based on the preference of LLM pretraining. Specifically, it leverages the influence of a webpage in LLM pretraining as the priority score of the web crawler's scheduler, replacing the standard graph connectivity based priority. Our experiments on a web graph containing 900 million webpages from a commercial search engine's index demonstrate the efficiency of Crawl4LLM in obtaining high-quality pretraining data. With just 21% URLs crawled, LLMs pretrained on Crawl4LLM data reach the same downstream performances of previous crawls, significantly reducing the crawling waste and alleviating the burdens on websites. Our code is publicly available at https://github.com/cxcscmu/Crawl4LLM.