Modelli dedicati di feedback e modifica potenziano il ridimensionamento al momento dell'inferenza per compiti aperti in domini generali.

Dedicated Feedback and Edit Models Empower Inference-Time Scaling for Open-Ended General-Domain Tasks

March 6, 2025

Autori: Zhilin Wang, Jiaqi Zeng, Olivier Delalleau, Daniel Egert, Ellie Evans, Hoo-Chang Shin, Felipe Soares, Yi Dong, Oleksii Kuchaiev

cs.AI

Abstract

Lo scaling al momento dell'inferenza è stato fondamentale per il successo di modelli recenti come OpenAI o1 e DeepSeek R1. Tuttavia, molte tecniche utilizzate per addestrare modelli per lo scaling al momento dell'inferenza richiedono che i compiti abbiano risposte verificabili, limitando la loro applicazione a domini come la matematica, la programmazione e il ragionamento logico. Traiamo ispirazione dal modo in cui gli esseri umani fanno primi tentativi, chiedono feedback dettagliati ad altri e apportano miglioramenti basati su tali feedback in un'ampia gamma di attività aperte. A tal fine, raccogliamo dati e addestriamo modelli dedicati per il Feedback e l'Editing, in grado di eseguire lo scaling al momento dell'inferenza per compiti generali e aperti. Nel nostro setup, un modello genera una risposta iniziale, che riceve feedback da un secondo modello, che vengono poi utilizzati da un terzo modello per modificare la risposta. Dimostriamo che le prestazioni su Arena Hard, un benchmark fortemente predittivo del Chatbot Arena Elo, possono essere migliorate scalando il numero di bozze di risposta iniziali, feedback efficaci e risposte modificate. Quando scalato in modo ottimale, il nostro setup basato su modelli da 70B della famiglia Llama 3 può raggiungere prestazioni SoTA su Arena Hard con un punteggio di 92.7 al 5 marzo 2025, superando OpenAI o1-preview-2024-09-12 con 90.4 e DeepSeek R1 con 92.3.

English

Inference-Time Scaling has been critical to the success of recent models such as OpenAI o1 and DeepSeek R1. However, many techniques used to train models for inference-time scaling require tasks to have answers that can be verified, limiting their application to domains such as math, coding and logical reasoning. We take inspiration from how humans make first attempts, ask for detailed feedback from others and make improvements based on such feedback across a wide spectrum of open-ended endeavors. To this end, we collect data for and train dedicated Feedback and Edit Models that are capable of performing inference-time scaling for open-ended general-domain tasks. In our setup, one model generates an initial response, which are given feedback by a second model, that are then used by a third model to edit the response. We show that performance on Arena Hard, a benchmark strongly predictive of Chatbot Arena Elo can be boosted by scaling the number of initial response drafts, effective feedback and edited responses. When scaled optimally, our setup based on 70B models from the Llama 3 family can reach SoTA performance on Arena Hard at 92.7 as of 5 Mar 2025, surpassing OpenAI o1-preview-2024-09-12 with 90.4 and DeepSeek R1 with 92.3.