SPICE: Autoaprendizagem em Ambientes de Corpus Aprimora o Raciocínio

SPICE: Self-Play In Corpus Environments Improves Reasoning

October 28, 2025

Autores: Bo Liu, Chuanyang Jin, Seungone Kim, Weizhe Yuan, Wenting Zhao, Ilia Kulikov, Xian Li, Sainbayar Sukhbaatar, Jack Lanchantin, Jason Weston

cs.AI

Resumo

Sistemas de autoaperfeiçoamento requerem interação com o ambiente para uma adaptação contínua. Apresentamos o SPICE (Self-Play In Corpus Environments), um arcabouço de aprendizado por reforço no qual um único modelo atua em dois papéis: um Desafiador, que minera documentos de um grande corpus para gerar tarefas de raciocínio diversificadas, e um Raciocinador, que as resolve. Por meio de dinâmicas adversariais, o Desafiador cria um currículo automático na fronteira da capacidade do Raciocinador, enquanto o ancoramento no corpus fornece o sinal externo rico e praticamente inesgotável necessário para uma melhoria sustentada. Diferentemente dos métodos existentes de autojogo não ancorados, que oferecem benefícios mais limitados, o SPICE alcança ganhos consistentes em benchmarks de raciocínio matemático (+8,9%) e de raciocínio geral (+9,8%) em múltiplas famílias de modelos. Nossa análise revela como o ancoramento documental é um ingrediente fundamental no SPICE para gerar continuamente seus próprios objetivos cada vez mais desafiadores e alcançá-los, permitindo um autoaperfeiçoamento sustentado.

English

Self-improving systems require environmental interaction for continuous adaptation. We introduce SPICE (Self-Play In Corpus Environments), a reinforcement learning framework where a single model acts in two roles: a Challenger that mines documents from a large corpus to generate diverse reasoning tasks, and a Reasoner that solves them. Through adversarial dynamics, the Challenger creates an automatic curriculum at the frontier of the Reasoner's capability, while corpus grounding provides the rich, near-inexhaustible external signal necessary for sustained improvement. Unlike existing ungrounded self-play methods that offer more limited benefits, SPICE achieves consistent gains across mathematical (+8.9%) and general reasoning (+9.8%) benchmarks on multiple model families. Our analysis reveals how document grounding is a key ingredient in SPICE to continuously generate its own increasingly challenging goals and achieve them, enabling sustained self-improvement.