Размышляй, Повторяй, Вознаграждай: Самоулучшение больших языковых моделей с помощью обучения с подкреплением
Reflect, Retry, Reward: Self-Improving LLMs via Reinforcement Learning
May 30, 2025
Авторы: Shelly Bensal, Umar Jamil, Christopher Bryant, Melisa Russak, Kiran Kamble, Dmytro Mozolevskyi, Muayad Ali, Waseem AlShikh
cs.AI
Аннотация
Мы исследуем метод повышения производительности больших языковых моделей с использованием саморефлексии и обучения с подкреплением. Стимулируя модель генерировать более качественные саморефлексии при неправильных ответах, мы демонстрируем, что способность модели решать сложные, проверяемые задачи может быть улучшена даже в условиях, когда генерация синтетических данных невозможна и доступна только бинарная обратная связь. Наш подход работает в два этапа: сначала, при неудачном выполнении задачи, модель генерирует саморефлексивный комментарий, анализирующий её предыдущую попытку; затем модель получает ещё одну попытку выполнить задачу с учётом этого комментария. Если последующая попытка оказывается успешной, токены, сгенерированные на этапе саморефлексии, получают вознаграждение. Наши экспериментальные результаты показывают значительное улучшение производительности для различных архитектур моделей, достигая 34,7% в написании математических уравнений и 18,1% в вызове функций. Примечательно, что более мелкие дообученные модели (от 1,5 до 7 миллиардов параметров) превосходят модели того же семейства, которые в 10 раз больше. Таким образом, наш новый подход представляет собой перспективный путь к созданию более полезных и надёжных языковых моделей, способных самостоятельно улучшаться в решении сложных задач при ограниченной внешней обратной связи.
English
We explore a method for improving the performance of large language models
through self-reflection and reinforcement learning. By incentivizing the model
to generate better self-reflections when it answers incorrectly, we demonstrate
that a model's ability to solve complex, verifiable tasks can be enhanced even
when generating synthetic data is infeasible and only binary feedback is
available. Our framework operates in two stages: first, upon failing a given
task, the model generates a self-reflective commentary analyzing its previous
attempt; second, the model is given another attempt at the task with the
self-reflection in context. If the subsequent attempt succeeds, the tokens
generated during the self-reflection phase are rewarded. Our experimental
results show substantial performance gains across a variety of model
architectures, as high as 34.7% improvement at math equation writing and 18.1%
improvement at function calling. Notably, smaller fine-tuned models (1.5
billion to 7 billion parameters) outperform models in the same family that are
10 times larger. Our novel paradigm is thus an exciting pathway to more useful
and reliable language models that can self-improve on challenging tasks with
limited external feedback.