Craw4LLM : Exploration Web Efficace pour le Prétraitement des Modèles de Langage

Craw4LLM: Efficient Web Crawling for LLM Pretraining

February 19, 2025

Auteurs: Shi Yu, Zhiyuan Liu, Chenyan Xiong

cs.AI

Résumé

Le web crawl constitue une source principale de données de pré-entraînement pour les grands modèles de langage (LLMs), mais la majorité des pages web crawléees sont écartées lors du pré-entraînement en raison de leur faible qualité. Cet article présente Crawl4LLM, une méthode de web crawling efficace qui explore le graphe web en se basant sur les préférences du pré-entraînement des LLMs. Plus précisément, elle utilise l'influence d'une page web dans le pré-entraînement des LLMs comme score de priorité pour le planificateur du web crawler, remplaçant ainsi la priorité standard basée sur la connectivité du graphe. Nos expériences sur un graphe web contenant 900 millions de pages issues de l'index d'un moteur de recherche commercial démontrent l'efficacité de Crawl4LLM pour obtenir des données de pré-entraînement de haute qualité. Avec seulement 21 % des URLs crawléees, les LLMs pré-entraînés sur les données de Crawl4LLM atteignent les mêmes performances en aval que les crawls précédents, réduisant ainsi considérablement le gaspillage de crawling et allégeant la charge sur les sites web. Notre code est disponible publiquement à l'adresse https://github.com/cxcscmu/Crawl4LLM.

English

Web crawl is a main source of large language models' (LLMs) pretraining data, but the majority of crawled web pages are discarded in pretraining due to low data quality. This paper presents Crawl4LLM, an efficient web crawling method that explores the web graph based on the preference of LLM pretraining. Specifically, it leverages the influence of a webpage in LLM pretraining as the priority score of the web crawler's scheduler, replacing the standard graph connectivity based priority. Our experiments on a web graph containing 900 million webpages from a commercial search engine's index demonstrate the efficiency of Crawl4LLM in obtaining high-quality pretraining data. With just 21% URLs crawled, LLMs pretrained on Crawl4LLM data reach the same downstream performances of previous crawls, significantly reducing the crawling waste and alleviating the burdens on websites. Our code is publicly available at https://github.com/cxcscmu/Crawl4LLM.