SPICE: l'Autogioco in Ambienti di Corpus Migliora il Ragionamento

SPICE: Self-Play In Corpus Environments Improves Reasoning

October 28, 2025

Autori: Bo Liu, Chuanyang Jin, Seungone Kim, Weizhe Yuan, Wenting Zhao, Ilia Kulikov, Xian Li, Sainbayar Sukhbaatar, Jack Lanchantin, Jason Weston

cs.AI

Abstract

I sistemi di auto-miglioramento richiedono interazione con l'ambiente per un adattamento continuo. Introduciamo SPICE (Self-Play In Corpus Environments), un framework di apprendimento per rinforzo in cui un singolo modello agisce in due ruoli: uno Sfidante che estrae documenti da un ampio corpus per generare compiti di ragionamento diversificati, e un Ragionatore che li risolve. Attraverso dinamiche adversariali, lo Sfidante crea un curriculum automatico al confine delle capacità del Ragionatore, mentre l'ancoraggio al corpus fornisce il segnale esterno ricco e quasi inesauribile necessario per un miglioramento sostenuto. A differenza dei metodi di auto-gioco esistenti non ancorati che offrono benefici più limitati, SPICE ottiene guadagni consistenti su benchmark di ragionamento matematico (+8,9%) e generale (+9,8%) in molteplici famiglie di modelli. La nostra analisi rivela come l'ancoraggio documentale sia un ingrediente chiave in SPICE per generare continuamente obiettivi progressivamente più impegnativi e raggiungerli, consentendo un auto-miglioramento sostenuto.

English

Self-improving systems require environmental interaction for continuous adaptation. We introduce SPICE (Self-Play In Corpus Environments), a reinforcement learning framework where a single model acts in two roles: a Challenger that mines documents from a large corpus to generate diverse reasoning tasks, and a Reasoner that solves them. Through adversarial dynamics, the Challenger creates an automatic curriculum at the frontier of the Reasoner's capability, while corpus grounding provides the rich, near-inexhaustible external signal necessary for sustained improvement. Unlike existing ungrounded self-play methods that offer more limited benefits, SPICE achieves consistent gains across mathematical (+8.9%) and general reasoning (+9.8%) benchmarks on multiple model families. Our analysis reveals how document grounding is a key ingredient in SPICE to continuously generate its own increasingly challenging goals and achieve them, enabling sustained self-improvement.