Modelos Dedicados de Feedback e Edição Capacitam a Escalabilidade em Tempo de Inferência para Tarefas de Domínio Geral e Abertas

Dedicated Feedback and Edit Models Empower Inference-Time Scaling for Open-Ended General-Domain Tasks

March 6, 2025

Autores: Zhilin Wang, Jiaqi Zeng, Olivier Delalleau, Daniel Egert, Ellie Evans, Hoo-Chang Shin, Felipe Soares, Yi Dong, Oleksii Kuchaiev

cs.AI

Resumo

O dimensionamento no tempo de inferência tem sido crucial para o sucesso de modelos recentes, como o OpenAI o1 e o DeepSeek R1. No entanto, muitas técnicas usadas para treinar modelos para dimensionamento no tempo de inferência exigem que as tarefas tenham respostas que possam ser verificadas, limitando sua aplicação a domínios como matemática, programação e raciocínio lógico. Inspiramo-nos na forma como os humanos fazem primeiras tentativas, solicitam feedback detalhado de outros e fazem melhorias com base nesse feedback em uma ampla gama de atividades de natureza aberta. Para isso, coletamos dados e treinamos modelos dedicados de Feedback e Edição que são capazes de realizar dimensionamento no tempo de inferência para tarefas de domínio geral e de natureza aberta. Em nossa configuração, um modelo gera uma resposta inicial, que recebe feedback de um segundo modelo, que é então usado por um terceiro modelo para editar a resposta. Mostramos que o desempenho no Arena Hard, um benchmark fortemente preditivo do Elo do Chatbot Arena, pode ser impulsionado ao escalar o número de rascunhos de respostas iniciais, feedback eficaz e respostas editadas. Quando dimensionado de forma ideal, nossa configuração baseada em modelos de 70B da família Llama 3 pode atingir desempenho de estado da arte no Arena Hard com 92,7 em 5 de março de 2025, superando o OpenAI o1-preview-2024-09-12 com 90,4 e o DeepSeek R1 com 92,3.

English

Inference-Time Scaling has been critical to the success of recent models such as OpenAI o1 and DeepSeek R1. However, many techniques used to train models for inference-time scaling require tasks to have answers that can be verified, limiting their application to domains such as math, coding and logical reasoning. We take inspiration from how humans make first attempts, ask for detailed feedback from others and make improvements based on such feedback across a wide spectrum of open-ended endeavors. To this end, we collect data for and train dedicated Feedback and Edit Models that are capable of performing inference-time scaling for open-ended general-domain tasks. In our setup, one model generates an initial response, which are given feedback by a second model, that are then used by a third model to edit the response. We show that performance on Arena Hard, a benchmark strongly predictive of Chatbot Arena Elo can be boosted by scaling the number of initial response drafts, effective feedback and edited responses. When scaled optimally, our setup based on 70B models from the Llama 3 family can reach SoTA performance on Arena Hard at 92.7 as of 5 Mar 2025, surpassing OpenAI o1-preview-2024-09-12 with 90.4 and DeepSeek R1 with 92.3.