Xolver: Multi-Agent Redeneren met Holistische Ervaringsleren Net Als een Olympiade Team

Xolver: Multi-Agent Reasoning with Holistic Experience Learning Just Like an Olympiad Team

June 17, 2025

Auteurs: Md Tanzib Hosain, Salman Rahman, Md Kishor Morol, Md Rizwan Parvez

cs.AI

Samenvatting

Ondanks indrukwekkende vooruitgang op het gebied van complex redeneren, werken huidige grote taalmmodellen (LLMs) doorgaans in isolatie - waarbij elk probleem als een onafhankelijke poging wordt behandeld, zonder het opbouwen of integreren van ervaringskennis. Daarentegen maken expertprobleemoplossers - zoals Olympiade- of programmeerwedstrijdteams - gebruik van een rijk tapijt aan ervaringen: ze absorberen mentorschap van coaches, ontwikkelen intuïtie uit eerdere problemen, benutten kennis van toolgebruik en bibliotheekfunctionaliteit, passen strategieën aan op basis van de expertise en ervaringen van peers, verfijnen hun redenering continu door vallen en opstaan, en leren van andere gerelateerde problemen, zelfs tijdens de competitie. Wij introduceren Xolver, een trainingsvrij multi-agent redeneerframework dat een black-box LLM uitrust met een persistent, evoluerend geheugen van holistische ervaring. Xolver integreert diverse ervaringsmodaliteiten, waaronder externe en zelf-retrieval, toolgebruik, collaboratieve interacties, agent-gestuurde evaluatie en iteratieve verfijning. Door te leren van relevante strategieën, codefragmenten en abstracte redeneerpatronen tijdens inferentie, vermijdt Xolver het genereren van oplossingen vanaf nul - wat een overgang markeert van geïsoleerde inferentie naar ervaringsbewuste taalagents. Gebouwd op zowel open-weight als propriëtaire modellen, presteert Xolver consistent beter dan gespecialiseerde redeneeragents. Zelfs met lichtgewicht backbones (bijv. QWQ-32B), overtreft het vaak geavanceerde modellen, waaronder Qwen3-235B, Gemini 2.5 Pro, o3 en o4-mini-high. Met o3-mini-high behaalt het nieuwe beste resultaten op GSM8K (98,1%), AIME'24 (94,4%), AIME'25 (93,7%), Math-500 (99,8%) en LiveCodeBench-V5 (91,6%) - wat holistische ervaringsleren benadrukt als een cruciale stap naar generalistische agents die in staat zijn tot expertniveau redeneren. Code en data zijn beschikbaar op https://kagnlp.github.io/xolver.github.io/.

English

Despite impressive progress on complex reasoning, current large language models (LLMs) typically operate in isolation - treating each problem as an independent attempt, without accumulating or integrating experiential knowledge. In contrast, expert problem solvers - such as Olympiad or programming contest teams - leverage a rich tapestry of experiences: absorbing mentorship from coaches, developing intuition from past problems, leveraging knowledge of tool usage and library functionality, adapting strategies based on the expertise and experiences of peers, continuously refining their reasoning through trial and error, and learning from other related problems even during competition. We introduce Xolver, a training-free multi-agent reasoning framework that equips a black-box LLM with a persistent, evolving memory of holistic experience. Xolver integrates diverse experience modalities, including external and self-retrieval, tool use, collaborative interactions, agent-driven evaluation, and iterative refinement. By learning from relevant strategies, code fragments, and abstract reasoning patterns at inference time, Xolver avoids generating solutions from scratch - marking a transition from isolated inference toward experience-aware language agents. Built on both open-weight and proprietary models, Xolver consistently outperforms specialized reasoning agents. Even with lightweight backbones (e.g., QWQ-32B), it often surpasses advanced models including Qwen3-235B, Gemini 2.5 Pro, o3, and o4-mini-high. With o3-mini-high, it achieves new best results on GSM8K (98.1%), AIME'24 (94.4%), AIME'25 (93.7%), Math-500 (99.8%), and LiveCodeBench-V5 (91.6%) - highlighting holistic experience learning as a key step toward generalist agents capable of expert-level reasoning. Code and data are available at https://kagnlp.github.io/xolver.github.io/.