Com que Rapidez um Modelo Deve se Comprometer com a Supervisão? Treinando Modelos de Raciocínio no Contínuo da Perda de Tsallis

Resumo

A adaptação de modelos de raciocínio a novas tarefas durante o pós-treinamento, com supervisão apenas a nível de saída, estagna sob o aprendizado por reforço com recompensas verificáveis (RLVR) quando a probabilidade inicial de sucesso p_0 é pequena. Utilizando o q-logaritmo de Tsallis, definimos uma família de perdas J_Q que interpola entre o RLVR (em q=0, o polo de exploração) e a log-verossimilhança marginal sobre trajetórias latentes (em q=1, o polo de estimação de densidade). Todos os membros compartilham a mesma direção de gradiente por exemplo, diferindo apenas por uma amplificação escalar P_{θ^{-q}} que repondera cada instância independentemente da taxa de aprendizado. Esta amplificação é o mecanismo que aborda a estagnação no "arranque a frio" (cold-start): sob fluxo de gradiente, o polo de exploração requer tempo Ω(1/p_0) para escapar do início difícil, enquanto o polo de estimação de densidade escapa em Θ(log(1/p_0)); valores intermédios de q trocam velocidade de escape por memorização de ruído. Como P_θ é intratável, derivamos dois estimadores de Monte Carlo a partir das duas fatorizações do gradiente: o RL Amplificado por Gradiente (GARL) amostra da priori e amplifica o gradiente de RL, e o Ajuste Fino Atenuado pela Posteriori (PAFT) faz reamostragem por importância da posteriori e executa o ajuste fino supervisionado padrão (SFT). Ambos possuem viés O(q/(M P_θ^{q+1})); o GARL tem variância menor, o PAFT tem gradientes semanticamente coerentes. No FinQA, HotPotQA e MuSiQue, o GARL com q=0,75 mitiga substancialmente a estagnação no início difícil, escapando dessa fase onde o GRPO falha completamente. Em início favorável (warm start), o GARL com q baixo domina no FinQA, onde o treinamento é estável; no HotPotQA e MuSiQue, o GARL desestabiliza durante o treinamento, e o PAFT com q=0,75 fornece gradientes estáveis (melhor resultado geral no HotPotQA com 47,9 maj@16, +14,4 sobre o GRPO).

English

Adapting reasoning models to new tasks during post-training with only output-level supervision stalls under reinforcement learning from verifiable rewards (RLVR) when the initial success probability p_0 is small. Using the Tsallis q-logarithm, we define a loss family J_Q that interpolates between RLVR (at q{=}0, the exploitation pole) and the log-marginal-likelihood over latent trajectories (at q{=}1, the density-estimation pole). All members share the same per-example gradient direction, differing only by a scalar amplification P_{θ^{-q}} that reweights each instance independently of the learning rate. This amplification is the mechanism that addresses cold-start stalling: under gradient flow, the exploitation pole requires Ω(1{p_0}) time to escape cold start, while the density-estimation pole escapes in Θbig(log(1{p_0})big); intermediate q trades escape speed against noise memorization. Because P_θ is intractable, we derive two Monte Carlo estimators from the two factorizations of the gradient: Gradient-Amplified RL (GARL) samples from the prior and amplifies the RL gradient, and Posterior-Attenuated Fine-Tuning (PAFT) importance-resamples from the posterior and runs standard SFT. Both have bias Obig(q{M P_θ^{q+1}}big); GARL has lower variance, PAFT has semantically coherent gradients. On FinQA, HotPotQA, and MuSiQue, GARL at q{=}0.75 substantially mitigates cold-start stalling, escaping cold start where GRPO fails entirely. In warm start, GARL at low q dominates FinQA where training is stable; on HotPotQA and MuSiQue, GARL destabilizes during training, and PAFT at q{=}0.75 provides stable gradients (best overall on HotPotQA at 47.9 maj@16, +14.4 over GRPO).