Les modèles dédiés de feedback et d'édition permettent une mise à l'échelle au moment de l'inférence pour des tâches ouvertes dans des domaines généraux.

Dedicated Feedback and Edit Models Empower Inference-Time Scaling for Open-Ended General-Domain Tasks

March 6, 2025

Auteurs: Zhilin Wang, Jiaqi Zeng, Olivier Delalleau, Daniel Egert, Ellie Evans, Hoo-Chang Shin, Felipe Soares, Yi Dong, Oleksii Kuchaiev

cs.AI

Résumé

L'optimisation à l'inférence a été cruciale pour le succès des modèles récents tels qu'OpenAI o1 et DeepSeek R1. Cependant, de nombreuses techniques utilisées pour entraîner les modèles en vue de cette optimisation nécessitent que les tâches aient des réponses pouvant être vérifiées, limitant ainsi leur application à des domaines tels que les mathématiques, la programmation et le raisonnement logique. Nous nous inspirons de la manière dont les humains font des premières tentatives, demandent des retours détaillés à d'autres et apportent des améliorations basées sur ces retours dans un large éventail de tâches ouvertes. À cette fin, nous collectons des données et entraînons des modèles dédiés de Feedback et d'Édition capables de réaliser une optimisation à l'inférence pour des tâches générales et ouvertes. Dans notre configuration, un modèle génère une réponse initiale, qui reçoit des commentaires d'un deuxième modèle, lesquels sont ensuite utilisés par un troisième modèle pour éditer la réponse. Nous montrons que les performances sur Arena Hard, un benchmark fortement prédictif du Chatbot Arena Elo, peuvent être améliorées en augmentant le nombre de brouillons de réponses initiales, de retours efficaces et de réponses éditées. Lorsqu'elle est optimisée, notre configuration basée sur des modèles de 70B de la famille Llama 3 peut atteindre une performance de pointe sur Arena Hard avec un score de 92,7 au 5 mars 2025, surpassant OpenAI o1-preview-2024-09-12 avec 90,4 et DeepSeek R1 avec 92,3.

English

Inference-Time Scaling has been critical to the success of recent models such as OpenAI o1 and DeepSeek R1. However, many techniques used to train models for inference-time scaling require tasks to have answers that can be verified, limiting their application to domains such as math, coding and logical reasoning. We take inspiration from how humans make first attempts, ask for detailed feedback from others and make improvements based on such feedback across a wide spectrum of open-ended endeavors. To this end, we collect data for and train dedicated Feedback and Edit Models that are capable of performing inference-time scaling for open-ended general-domain tasks. In our setup, one model generates an initial response, which are given feedback by a second model, that are then used by a third model to edit the response. We show that performance on Arena Hard, a benchmark strongly predictive of Chatbot Arena Elo can be boosted by scaling the number of initial response drafts, effective feedback and edited responses. When scaled optimally, our setup based on 70B models from the Llama 3 family can reach SoTA performance on Arena Hard at 92.7 as of 5 Mar 2025, surpassing OpenAI o1-preview-2024-09-12 with 90.4 and DeepSeek R1 with 92.3.