Специализированные модели обратной связи и редактирования обеспечивают масштабирование на этапе вывода для открытых задач общего назначения.

Dedicated Feedback and Edit Models Empower Inference-Time Scaling for Open-Ended General-Domain Tasks

March 6, 2025

Авторы: Zhilin Wang, Jiaqi Zeng, Olivier Delalleau, Daniel Egert, Ellie Evans, Hoo-Chang Shin, Felipe Soares, Yi Dong, Oleksii Kuchaiev

cs.AI

Аннотация

Масштабирование на этапе вывода сыграло ключевую роль в успехе последних моделей, таких как OpenAI o1 и DeepSeek R1. Однако многие методы, используемые для обучения моделей для масштабирования на этапе вывода, требуют, чтобы задачи имели проверяемые ответы, что ограничивает их применение в таких областях, как математика, программирование и логическое мышление. Мы вдохновляемся тем, как люди делают первые попытки, запрашивают детальную обратную связь от других и вносят улучшения на основе такой обратной связи в широком спектре открытых задач. С этой целью мы собираем данные и обучаем специализированные модели для обратной связи и редактирования, которые способны выполнять масштабирование на этапе вывода для открытых задач общего характера. В нашей системе одна модель генерирует начальный ответ, который получает обратную связь от второй модели, а затем третья модель использует эту обратную связь для редактирования ответа. Мы показываем, что производительность на бенчмарке Arena Hard, который сильно коррелирует с рейтингом Elo в Chatbot Arena, может быть улучшена за счет масштабирования количества начальных черновиков ответов, эффективной обратной связи и отредактированных ответов. При оптимальном масштабировании наша система, основанная на моделях семейства Llama 3 с 70 миллиардами параметров, достигает уровня SoTA на Arena Hard с показателем 92.7 по состоянию на 5 марта 2025 года, превосходя OpenAI o1-preview-2024-09-12 с 90.4 и DeepSeek R1 с 92.3.

English

Inference-Time Scaling has been critical to the success of recent models such as OpenAI o1 and DeepSeek R1. However, many techniques used to train models for inference-time scaling require tasks to have answers that can be verified, limiting their application to domains such as math, coding and logical reasoning. We take inspiration from how humans make first attempts, ask for detailed feedback from others and make improvements based on such feedback across a wide spectrum of open-ended endeavors. To this end, we collect data for and train dedicated Feedback and Edit Models that are capable of performing inference-time scaling for open-ended general-domain tasks. In our setup, one model generates an initial response, which are given feedback by a second model, that are then used by a third model to edit the response. We show that performance on Arena Hard, a benchmark strongly predictive of Chatbot Arena Elo can be boosted by scaling the number of initial response drafts, effective feedback and edited responses. When scaled optimally, our setup based on 70B models from the Llama 3 family can reach SoTA performance on Arena Hard at 92.7 as of 5 Mar 2025, surpassing OpenAI o1-preview-2024-09-12 with 90.4 and DeepSeek R1 with 92.3.