Multi-Agent Evolve: Selbstverbesserung von LLM durch Ko-Evolution

Zusammenfassung

Reinforcement Learning (RL) hat ein erhebliches Potenzial bei der Verbesserung der Fähigkeiten großer Sprachmodelle (LLMs) zum logischen Schlussfolgern gezeigt. Der Erfolg von RL für LLMs hängt jedoch stark von menschlich kuratierten Datensätzen und überprüfbaren Belohnungen ab, was deren Skalierbarkeit und Allgemeingültigkeit einschränkt. Neuere Self-Play-RL-Methoden, inspiriert durch den Erfolg dieses Paradigmas in Spielen und Go, zielen darauf ab, die Fähigkeiten von LLMs zum logischen Schlussfolgern ohne menschlich annotierte Daten zu verbessern. Ihre Methoden sind jedoch hauptsächlich auf eine fundierte Umgebung für Feedback angewiesen (z. B. einen Python-Interpreter oder eine Spiel-Engine), wodurch ihre Anwendung auf allgemeine Domänen weiterhin eine Herausforderung darstellt. Um diese Herausforderungen zu bewältigen, schlagen wir Multi-Agent Evolve (MAE) vor, ein Framework, das es LLMs ermöglicht, sich selbstständig weiterzuentwickeln, um diverse Aufgaben zu lösen, darunter Mathematik, logisches Schlussfolgern und allgemeine Wissensfragen. Der Kernentwurf von MAE basiert auf einem Trio interagierender Agenten (Proposer, Solver, Judge), die aus einem einzigen LLM instanziiert werden, und wendet Reinforcement Learning an, um deren Verhalten zu optimieren. Der Proposer generiert Fragen, der Solver versucht Lösungen zu finden, und der Judge bewertet beide, während sie sich gemeinsam weiterentwickeln. Experimente mit Qwen2.5-3B-Instruct zeigen, dass MAE eine durchschnittliche Verbesserung von 4,54 % auf mehreren Benchmarks erreicht. Diese Ergebnisse unterstreichen MAE als eine skalierbare, dateneffiziente Methode zur Verbesserung der allgemeinen Fähigkeiten von LLMs zum logischen Schlussfolgern mit minimaler Abhängigkeit von menschlich kuratierter Überwachung.

English

Reinforcement Learning (RL) has demonstrated significant potential in enhancing the reasoning capabilities of large language models (LLMs). However, the success of RL for LLMs heavily relies on human-curated datasets and verifiable rewards, which limit their scalability and generality. Recent Self-Play RL methods, inspired by the success of the paradigm in games and Go, aim to enhance LLM reasoning capabilities without human-annotated data. However, their methods primarily depend on a grounded environment for feedback (e.g., a Python interpreter or a game engine); extending them to general domains remains challenging. To address these challenges, we propose Multi-Agent Evolve (MAE), a framework that enables LLMs to self-evolve in solving diverse tasks, including mathematics, reasoning, and general knowledge Q&A. The core design of MAE is based on a triplet of interacting agents (Proposer, Solver, Judge) that are instantiated from a single LLM, and applies reinforcement learning to optimize their behaviors. The Proposer generates questions, the Solver attempts solutions, and the Judge evaluates both while co-evolving. Experiments on Qwen2.5-3B-Instruct demonstrate that MAE achieves an average improvement of 4.54% on multiple benchmarks. These results highlight MAE as a scalable, data-efficient method for enhancing the general reasoning abilities of LLMs with minimal reliance on human-curated supervision.

Multi-Agent Evolve: Selbstverbesserung von LLM durch Ko-Evolution

Multi-Agent Evolve: LLM Self-Improve through Co-evolution

Zusammenfassung

Support