Förderung von LLM-Reasoning-Generalisten mit Präferenzbäumen

Advancing LLM Reasoning Generalists with Preference Trees

April 2, 2024

Autoren: Lifan Yuan, Ganqu Cui, Hanbin Wang, Ning Ding, Xingyao Wang, Jia Deng, Boji Shan, Huimin Chen, Ruobing Xie, Yankai Lin, Zhenghao Liu, Bowen Zhou, Hao Peng, Zhiyuan Liu, Maosong Sun

cs.AI

Zusammenfassung

Wir stellen Eurus vor, eine Suite großer Sprachmodelle (LLMs), die für das Argumentieren optimiert sind. Durch Feinabstimmung von Mistral-7B und CodeLlama-70B erzielen Eurus-Modelle Spitzenleistungen unter Open-Source-Modellen in einer Vielzahl von Benchmarks, die Mathematik, Code-Generierung und logische Schlussfolgerungsprobleme abdecken. Insbesondere schlägt Eurus-70B GPT-3.5 Turbo im Argumentieren in einem umfassenden Benchmarking über 12 Tests, die fünf Aufgaben abdecken, und erreicht eine Passgenauigkeit von 33,3% bei LeetCode und 32,6% bei TheoremQA, zwei anspruchsvollen Benchmarks, wobei bestehende Open-Source-Modelle deutlich um mehr als 13,3% übertroffen werden. Die starke Leistung von Eurus ist hauptsächlich auf UltraInteract zurückzuführen, unser neu kuratiertes, groß angelegtes, qualitativ hochwertiges Alignierungsdatenset, das speziell für komplexe Argumentationsaufgaben entwickelt wurde. UltraInteract kann sowohl für überwachtes Feintuning als auch für Präferenzlernen verwendet werden. Für jede Anweisung enthält es einen Präferenzbaum, der aus (1) Argumentationsketten mit vielfältigen Planungsstrategien in einem einheitlichen Format, (2) Mehrfachinteraktionstrajektorien mit der Umgebung und der Kritik sowie (3) paarweisen Daten zur Erleichterung des Präferenzlernens besteht. UltraInteract ermöglicht es uns, eine eingehende Erkundung des Präferenzlernens für Argumentationsaufgaben durchzuführen. Unsere Untersuchung zeigt, dass einige etablierte Präferenzlernalgorithmen möglicherweise weniger geeignet für Argumentationsaufgaben sind im Vergleich zu ihrer Effektivität in allgemeinen Gesprächen. Inspiriert davon leiten wir ein neuartiges Belohnungsmodellierungsziel ab, das zusammen mit UltraInteract zu einem starken Belohnungsmodell führt.

English

We introduce Eurus, a suite of large language models (LLMs) optimized for reasoning. Finetuned from Mistral-7B and CodeLlama-70B, Eurus models achieve state-of-the-art results among open-source models on a diverse set of benchmarks covering mathematics, code generation, and logical reasoning problems. Notably, Eurus-70B beats GPT-3.5 Turbo in reasoning through a comprehensive benchmarking across 12 tests covering five tasks, and achieves a 33.3% pass@1 accuracy on LeetCode and 32.6% on TheoremQA, two challenging benchmarks, substantially outperforming existing open-source models by margins more than 13.3%. The strong performance of Eurus can be primarily attributed to UltraInteract, our newly-curated large-scale, high-quality alignment dataset specifically designed for complex reasoning tasks. UltraInteract can be used in both supervised fine-tuning and preference learning. For each instruction, it includes a preference tree consisting of (1) reasoning chains with diverse planning strategies in a unified format, (2) multi-turn interaction trajectories with the environment and the critique, and (3) pairwise data to facilitate preference learning. UltraInteract allows us to conduct an in-depth exploration of preference learning for reasoning tasks. Our investigation reveals that some well-established preference learning algorithms may be less suitable for reasoning tasks compared to their effectiveness in general conversations. Inspired by this, we derive a novel reward modeling objective which, together with UltraInteract, leads to a strong reward model.