How2Everything : Extraction de procédures pratiques sur le Web pour évaluer et améliorer les modèles de langage de grande taille

How2Everything: Mining the Web for How-To Procedures to Evaluate and Improve LLMs

February 9, 2026

papers.authors: Yapei Chang, Kyle Lo, Mohit Iyyer, Luca Soldaini

cs.AI

papers.abstract

La génération de procédures pas-à-pas est une capacité fondamentale des grands modèles de langage : les conseils pratiques sont fréquemment demandés dans les chatbots, et la planification séquentielle est cruciale pour le raisonnement sur des tâches complexes. Pourtant, mesurer et améliorer la validité procédurale à grande échelle sur des tâches réelles reste un défi peu étudié. Pour y remédier, nous présentons How2Everything, un cadre évolutif pour évaluer et améliorer la génération de procédures conditionnées par un objectif. Notre cadre inclut How2Mine, qui extrait 351 000 procédures de 980 000 pages web couvrant 14 thèmes et peut facilement être étendu à des corpus plus vastes. À partir de cet ensemble, nous construisons How2Bench, un jeu d'évaluation de 7 000 exemples équilibré entre les thèmes. Pour évaluer les sorties des modèles de manière fiable, nous développons How2Score, un protocole d'évaluation utilisant un modèle LLM comme juge pour détecter si une génération contient une erreur critique empêchant d'atteindre l'objectif. Pour une évaluation reproductible et peu coûteuse, nous distillons un modèle de pointe en un modèle ouvert de 8B paramètres, atteignant un accord de 80,5 % avec des annotateurs humains. How2Bench révèle des tendances d'évolutivité nettes selon la taille des modèles et les étapes d'entraînement, fournissant un signal dès le pré-entraînement. Enfin, l'apprentissage par renforcement utilisant How2Score comme fonction de récompense améliore les performances sur How2Bench de plus de 10 points sur trois modèles, sans régression systématique sur les benchmarks standards, avec des gains robustes face à la mémorisation superficielle des documents sources ou au respect du format. Globalement, How2Everything démontre comment les données web de pré-entraînement peuvent soutenir une boucle fermée d'évaluation et d'amélioration des capacités à grande échelle.

English

Generating step-by-step "how-to" procedures is a key LLM capability: how-to advice is commonly requested in chatbots, and step-by-step planning is critical for reasoning over complex tasks. Yet, measuring and improving procedural validity at scale on real-world tasks remains challenging and understudied. To address this, we introduce How2Everything, a scalable framework to evaluate and improve goal-conditioned procedure generation. Our framework includes How2Mine, which mines 351K procedures from 980K web pages across 14 topics and readily scales to larger corpora. From this pool we build How2Bench, a 7K-example evaluation set balanced across topics. To reliably score model outputs, we develop How2Score, an evaluation protocol that uses an LLM judge to detect whether a generation contains any critical failure that would prevent achieving the goal. For low-cost, reproducible evaluation, we distill a frontier model into an open 8B model, achieving 80.5% agreement with human annotators. How2Bench reveals clear scaling trends across model sizes and training stages, providing signal early in pretraining. Finally, RL using How2Score as a reward improves performance on How2Bench by >10 points across three models without systematic regressions on standard benchmarks, with gains robust to superficial source-document memorization or format compliance. Taken together, How2Everything shows how pretraining web data can support a closed loop of capability evaluation and improvement at scale.