SPICE: El Autoaprendizaje en Entornos de Corpus Mejora el Razonamiento

SPICE: Self-Play In Corpus Environments Improves Reasoning

October 28, 2025

Autores: Bo Liu, Chuanyang Jin, Seungone Kim, Weizhe Yuan, Wenting Zhao, Ilia Kulikov, Xian Li, Sainbayar Sukhbaatar, Jack Lanchantin, Jason Weston

cs.AI

Resumen

Los sistemas de auto-mejora requieren interacción con el entorno para una adaptación continua. Presentamos SPICE (Self-Play In Corpus Environments), un marco de aprendizaje por refuerzo donde un único modelo actúa en dos roles: un Desafiante que extrae documentos de un gran corpus para generar tareas de razonamiento diversas, y un Razonador que las resuelve. A través de dinámicas adversariales, el Desafiante crea un currículo automático en la frontera de la capacidad del Razonador, mientras que la base en el corpus proporciona la señal externa rica y casi inagotable necesaria para una mejora sostenida. A diferencia de los métodos existentes de auto-juego sin base que ofrecen beneficios más limitados, SPICE logra ganancias consistentes en puntos de referencia de razonamiento matemático (+8.9%) y de razonamiento general (+9.8%) en múltiples familias de modelos. Nuestro análisis revela cómo la base documental es un ingrediente clave en SPICE para generar continuamente sus propios objetivos cada vez más desafiantes y alcanzarlos, permitiendo una auto-mejora sostenida.

English

Self-improving systems require environmental interaction for continuous adaptation. We introduce SPICE (Self-Play In Corpus Environments), a reinforcement learning framework where a single model acts in two roles: a Challenger that mines documents from a large corpus to generate diverse reasoning tasks, and a Reasoner that solves them. Through adversarial dynamics, the Challenger creates an automatic curriculum at the frontier of the Reasoner's capability, while corpus grounding provides the rich, near-inexhaustible external signal necessary for sustained improvement. Unlike existing ungrounded self-play methods that offer more limited benefits, SPICE achieves consistent gains across mathematical (+8.9%) and general reasoning (+9.8%) benchmarks on multiple model families. Our analysis reveals how document grounding is a key ingredient in SPICE to continuously generate its own increasingly challenging goals and achieve them, enabling sustained self-improvement.