Inferência e Verificação Diversificada para Raciocínio Avançado

Diverse Inference and Verification for Advanced Reasoning

February 14, 2025

Autores: Iddo Drori, Gaston Longhitano, Mao Mao, Seunghwan Hyun, Yuke Zhang, Sungjun Park, Zachary Meeks, Xin-Yu Zhang, Ben Segev, Howard Yong, Nakul Verma, Avi Shporer, Alon Amit, Madeleine Udell

cs.AI

Resumo

Modelos de linguagem de raciocínio (LLMs) como o OpenAI o1, o3 e o DeepSeek R1 têm feito progressos significativos em matemática e programação, mas ainda enfrentam desafios em tarefas avançadas, como problemas de combinatória da Olimpíada Internacional de Matemática (IMO), quebra-cabeças do Corpus de Abstração e Raciocínio (ARC) e questões do Exame Final da Humanidade (HLE). Utilizamos uma abordagem de inferência diversificada que combina múltiplos modelos e métodos durante o teste. Descobrimos que verificar problemas de matemática e código, além de aplicar amostragem por rejeição em outros problemas, é simples e eficaz. Verificamos automaticamente a correção das soluções para problemas da IMO usando Lean e para quebra-cabeças do ARC por meio de código, e constatamos que a técnica "best-of-N" responde efetivamente às questões do HLE. Nossa abordagem aumenta a precisão das respostas em problemas de combinatória da IMO de 33,3% para 77,8%, a precisão nas questões do HLE de 8% para 37%, e resolve 80% dos quebra-cabeças do ARC que 948 humanos não conseguiram resolver e 26,5% dos quebra-cabeças do ARC que o o3 com alto poder computacional não resolve. Simulações em tempo de teste, aprendizado por reforço e meta-aprendizado com feedback de inferência melhoram a generalização ao adaptar as representações de grafos do agente e variar prompts, códigos e conjuntos de dados. Nossa abordagem é confiável, robusta e escalável, e, no espírito da pesquisa reproduzível, a disponibilizaremos publicamente após a publicação.

English

Reasoning LLMs such as OpenAI o1, o3 and DeepSeek R1 have made significant progress in mathematics and coding, yet find challenging advanced tasks such as International Mathematical Olympiad (IMO) combinatorics problems, Abstraction and Reasoning Corpus (ARC) puzzles, and Humanity's Last Exam (HLE) questions. We use a diverse inference approach that combines multiple models and methods at test time. We find that verifying mathematics and code problems, and rejection sampling on other problems is simple and effective. We automatically verify correctness of solutions to IMO problems by Lean, and ARC puzzles by code, and find that best-of-N effectively answers HLE questions. Our approach increases answer accuracy on IMO combinatorics problems from 33.3% to 77.8%, accuracy on HLE questions from 8% to 37%, and solves 80% of ARC puzzles that 948 humans could not and 26.5% of ARC puzzles that o3 high compute does not. Test-time simulations, reinforcement learning, and meta-learning with inference feedback improve generalization by adapting agent graph representations and varying prompts, code, and datasets. Our approach is reliable, robust, and scalable, and in the spirit of reproducible research, we will make it publicly available upon publication.