Dedizierte Feedback- und Edit-Modelle ermöglichen die Skalierung zur Inferenzzeit für offene Aufgaben in allgemeinen Domänen.

Dedicated Feedback and Edit Models Empower Inference-Time Scaling for Open-Ended General-Domain Tasks

March 6, 2025

Autoren: Zhilin Wang, Jiaqi Zeng, Olivier Delalleau, Daniel Egert, Ellie Evans, Hoo-Chang Shin, Felipe Soares, Yi Dong, Oleksii Kuchaiev

cs.AI

Zusammenfassung

Inference-Time Scaling war entscheidend für den Erfolg aktueller Modelle wie OpenAI o1 und DeepSeek R1. Viele Techniken, die zum Trainieren von Modellen für Inference-Time Scaling verwendet werden, erfordern jedoch, dass Aufgaben überprüfbare Antworten haben, was ihre Anwendung auf Bereiche wie Mathematik, Programmierung und logisches Denken beschränkt. Wir lassen uns davon inspirieren, wie Menschen erste Versuche unternehmen, detailliertes Feedback von anderen einholen und auf der Grundlage solcher Rückmeldungen Verbesserungen in einer Vielzahl offener Aufgaben vornehmen. Zu diesem Zweck sammeln wir Daten und trainieren spezialisierte Feedback- und Edit-Modelle, die in der Lage sind, Inference-Time Scaling für offene, allgemeine Aufgaben durchzuführen. In unserem Setup generiert ein Modell eine erste Antwort, die von einem zweiten Modell Feedback erhält, das dann von einem dritten Modell verwendet wird, um die Antwort zu bearbeiten. Wir zeigen, dass die Leistung auf Arena Hard, einem Benchmark, der stark den Chatbot Arena Elo vorhersagt, durch die Skalierung der Anzahl von Entwürfen für erste Antworten, effektivem Feedback und bearbeiteten Antworten gesteigert werden kann. Bei optimaler Skalierung kann unser Setup, das auf 70B-Modellen der Llama-3-Familie basiert, Stand 5. März 2025 eine Spitzenleistung von 92,7 auf Arena Hard erreichen und damit OpenAI o1-preview-2024-09-12 mit 90,4 und DeepSeek R1 mit 92,3 übertreffen.

English

Inference-Time Scaling has been critical to the success of recent models such as OpenAI o1 and DeepSeek R1. However, many techniques used to train models for inference-time scaling require tasks to have answers that can be verified, limiting their application to domains such as math, coding and logical reasoning. We take inspiration from how humans make first attempts, ask for detailed feedback from others and make improvements based on such feedback across a wide spectrum of open-ended endeavors. To this end, we collect data for and train dedicated Feedback and Edit Models that are capable of performing inference-time scaling for open-ended general-domain tasks. In our setup, one model generates an initial response, which are given feedback by a second model, that are then used by a third model to edit the response. We show that performance on Arena Hard, a benchmark strongly predictive of Chatbot Arena Elo can be boosted by scaling the number of initial response drafts, effective feedback and edited responses. When scaled optimally, our setup based on 70B models from the Llama 3 family can reach SoTA performance on Arena Hard at 92.7 as of 5 Mar 2025, surpassing OpenAI o1-preview-2024-09-12 with 90.4 and DeepSeek R1 with 92.3.