Pre-addestramento Auto-Migliorante: utilizzo di modelli post-addestrati per pre-addestrare modelli migliori

Self-Improving Pretraining: using post-trained models to pretrain better models

January 29, 2026

Autori: Ellen Xiaoqing Tan, Shehzaad Dhuliawala, Jing Xu, Ping Yu, Sainbayar Sukhbaatar, Jason Weston, Olga Golovneva

cs.AI

Abstract

Garantire sicurezza, veridicità e qualità complessiva nelle generazioni dei grandi modelli linguistici è una sfida cruciale, specialmente considerando che questi modelli sono sempre più impiegati in applicazioni del mondo reale. L'approccio prevalente per affrontare questi problemi prevede la raccolta di dataset costosi e accuratamente curati e l'applicazione di multiple fasi di fine-tuning e allineamento. Tuttavia, anche questa complessa pipeline non può garantire la correzione di pattern appresi durante il pre-training. Pertanto, affrontare questi problemi durante il pre-training è fondamentale, poiché plasma i comportamenti fondamentali di un modello e impedisce che output non sicuri o allucinati diventino profondamente radicati. Per risolvere questo problema, introduciamo un nuovo metodo di pre-training che elabora documenti in streaming e utilizza l'apprendimento per rinforzo (RL) per migliorare i successivi K token generati a ogni passo. Un modello robusto, addestrato in seguito, valuta le generazioni candidate – incluse le rollout del modello, il suffisso originale e un suffisso riscritto – in termini di qualità, sicurezza e veridicità. Nelle fasi iniziali dell'addestramento, il processo si affida ai suffissi originali e riscritti; man mano che il modello migliora, l'RL premia le rollout di alta qualità. Questo approccio costruisce modelli intrinsecamente più qualitativi, sicuri e veritieri fin dalle fondamenta. Negli esperimenti, il nostro metodo registra miglioramenti relativi del 36,2% e del 18,5% rispetto al pre-training standard in termini di veridicità e sicurezza, e miglioramenti fino all'86,3% nel tasso di vittoria per quanto riguarda la qualità complessiva della generazione.

English

Ensuring safety, factuality and overall quality in the generations of large language models is a critical challenge, especially as these models are increasingly deployed in real-world applications. The prevailing approach to addressing these issues involves collecting expensive, carefully curated datasets and applying multiple stages of fine-tuning and alignment. However, even this complex pipeline cannot guarantee the correction of patterns learned during pretraining. Therefore, addressing these issues during pretraining is crucial, as it shapes a model's core behaviors and prevents unsafe or hallucinated outputs from becoming deeply embedded. To tackle this issue, we introduce a new pretraining method that streams documents and uses reinforcement learning (RL) to improve the next K generated tokens at each step. A strong, post-trained model judges candidate generations -- including model rollouts, the original suffix, and a rewritten suffix -- for quality, safety, and factuality. Early in training, the process relies on the original and rewritten suffixes; as the model improves, RL rewards high-quality rollouts. This approach builds higher quality, safer, and more factual models from the ground up. In experiments, our method gives 36.2% and 18.5% relative improvements over standard pretraining in terms of factuality and safety, and up to 86.3% win rate improvements in overall generation quality.