PBSD: Привилегированная байесовская самодистилляция для длинногоризонтного назначения кредита

Аннотация

Долгосрочные агентные задачи ставят фундаментальную проблему распределения кредита для методов обучения с подкреплением, основанных на исходе: вознаграждения на уровне траекторий подтверждают финальную корректность, но дают ограниченное указание на то, какие промежуточные шаги рассуждений или взаимодействия с инструментами привели к данному исходу. Сложность особенно заметна в многошаговых поисковых агентах, где успешные траектории могут содержать вводящие в заблуждение действия, а неудачные траектории — ценные шаги по сбору свидетельств. Мы предлагаем PBSD (Привилегированная Байесовская Самодистилляция) — калиброванный по Байесу метод самодистилляции для точного распределения кредита при разреженных финальных вознаграждениях. PBSD измеряет качество траектории через отношение апостериорной вероятности к априорной для подтвержденного ответа и применяет правило Байеса, чтобы преобразовать это труднооцениваемое отношение со стороны ответа в вычислимое отношение правдоподобия между стандартной студенческой моделью и привилегированной моделью-учителем, обусловленной ответом. Авторегрессионное разложение этого Байесовского показателя достоверности порождает сигналы на уровне шагов, которые идентифицируют, поддерживает или подрывает ли каждый промежуточный шаг подтвержденный исход. Следовательно, PBSD предоставляет принципиальную и элегантную схему перевзвешивания, которая преобразует разреженный супервизорный контроль по исходу в калиброванные по Байесу сигналы кредита на уровне шагов, оставаясь при этом полностью совместимой со стандартной оптимизацией политики. Эксперименты демонстрируют, что PBSD последовательно улучшает производительность как в условиях, соответствующих обучающей выборке, так и вне распределения, а также эффективно переносит знания с обучения на коротких контекстах на вывод в длинных контекстах, что позволяет предположить, что его механизм точного распределения кредита способствует более эффективному обучению политики и обеспечивает улучшенную обобщающую способность.

English

Long-horizon agentic tasks pose a fundamental credit assignment challenge for outcome-base reinforcement learning: trajectory-level rewards verify final correctness but provide limited guidance on which intermediate reasoning steps or tool interactions contribute to the outcome. The difficulty is especially pronounced in multi-turn search agents, where successful trajectories may contain misleading actions and failed trajectories may contain valuable evidence-gathering steps. We propose PBSD (Privileged Bayesian Self-Distillation), a Bayes-calibrated self-distillation method for fine-grained credit assignment under sparse final rewards. PBSD measures trajectory quality through the posterior-to-prior probability ratio of the verified answer and applies Bayes' rule to convert this hard-to-estimate answer-side ratio into a tractable likelihood ratio between a standard student model and a privileged answer-conditioned teacher model. Autoregressive decomposition of this Bayesian evidence score yields turn-level signals that identify whether each intermediate turn supports or undermines the verified outcome. Consequently, PBSD provides a principled and elegant reweighting scheme that transforms sparse outcome supervision into Bayes-calibrated turn-level credit signals, while remaining fully compatible with standard policy optimization. Experiments demonstrate that PBSD consistently enhances performance across both in-domain and out-of-domain settings, and effectively transfers knowledge from short-context training to long-context inference, suggesting that its fine-grained credit assignment mechanism facilitates more effective policy learning and yields improved generalization.