Diverse Inferentie en Verificatie voor Geavanceerd Redeneren

Diverse Inference and Verification for Advanced Reasoning

February 14, 2025

Auteurs: Iddo Drori, Gaston Longhitano, Mao Mao, Seunghwan Hyun, Yuke Zhang, Sungjun Park, Zachary Meeks, Xin-Yu Zhang, Ben Segev, Howard Yong, Nakul Verma, Avi Shporer, Alon Amit, Madeleine Udell

cs.AI

Samenvatting

Redenerende LLM's zoals OpenAI o1, o3 en DeepSeek R1 hebben aanzienlijke vooruitgang geboekt in wiskunde en programmeren, maar vinden geavanceerde taken zoals combinatoriekproblemen van de Internationale Wiskunde Olympiade (IMO), puzzels uit het Abstraction and Reasoning Corpus (ARC) en vragen uit Humanity's Last Exam (HLE) uitdagend. We gebruiken een diverse inferentiebenadering die meerdere modellen en methoden combineert tijdens de testfase. We ontdekken dat het verifiëren van wiskunde- en programmeerproblemen, en rejection sampling bij andere problemen, eenvoudig en effectief is. We verifiëren automatisch de correctheid van oplossingen voor IMO-problemen met Lean, en ARC-puzzels met code, en vinden dat best-of-N effectief HLE-vragen beantwoordt. Onze aanpak verhoogt de nauwkeurigheid van antwoorden op IMO-combinatoriekproblemen van 33,3% naar 77,8%, de nauwkeurigheid op HLE-vragen van 8% naar 37%, en lost 80% van de ARC-puzzels op die 948 mensen niet konden oplossen en 26,5% van de ARC-puzzels die o3 met hoge rekenkracht niet oplost. Testtijdsimulaties, reinforcement learning en meta-learning met inferentiefeedback verbeteren de generalisatie door de grafische representaties van agenten aan te passen en prompts, code en datasets te variëren. Onze aanpak is betrouwbaar, robuust en schaalbaar, en in de geest van reproduceerbaar onderzoek zullen we deze na publicatie openbaar maken.

English

Reasoning LLMs such as OpenAI o1, o3 and DeepSeek R1 have made significant progress in mathematics and coding, yet find challenging advanced tasks such as International Mathematical Olympiad (IMO) combinatorics problems, Abstraction and Reasoning Corpus (ARC) puzzles, and Humanity's Last Exam (HLE) questions. We use a diverse inference approach that combines multiple models and methods at test time. We find that verifying mathematics and code problems, and rejection sampling on other problems is simple and effective. We automatically verify correctness of solutions to IMO problems by Lean, and ARC puzzles by code, and find that best-of-N effectively answers HLE questions. Our approach increases answer accuracy on IMO combinatorics problems from 33.3% to 77.8%, accuracy on HLE questions from 8% to 37%, and solves 80% of ARC puzzles that 948 humans could not and 26.5% of ARC puzzles that o3 high compute does not. Test-time simulations, reinforcement learning, and meta-learning with inference feedback improve generalization by adapting agent graph representations and varying prompts, code, and datasets. Our approach is reliable, robust, and scalable, and in the spirit of reproducible research, we will make it publicly available upon publication.