Avanzamento dei Modelli Linguistici Generalisti nel Ragionamento attraverso Alberi di Preferenze

Abstract

Presentiamo Eurus, una suite di modelli linguistici di grandi dimensioni (LLM) ottimizzati per il ragionamento. Addestrati a partire da Mistral-7B e CodeLlama-70B, i modelli Eurus raggiungono risultati all'avanguardia tra i modelli open-source su un insieme diversificato di benchmark che coprono matematica, generazione di codice e problemi di ragionamento logico. In particolare, Eurus-70B supera GPT-3.5 Turbo nel ragionamento attraverso un benchmarking completo su 12 test che coprono cinque task, e raggiunge un'accuratezza pass@1 del 33.3% su LeetCode e del 32.6% su TheoremQA, due benchmark impegnativi, superando sostanzialmente i modelli open-source esistenti con margini superiori al 13.3%. L'elevata performance di Eurus può essere attribuita principalmente a UltraInteract, il nostro nuovo dataset di allineamento su larga scala e di alta qualità, specificamente progettato per task di ragionamento complesso. UltraInteract può essere utilizzato sia per il fine-tuning supervisionato che per l'apprendimento delle preferenze. Per ogni istruzione, include un albero delle preferenze costituito da (1) catene di ragionamento con diverse strategie di pianificazione in un formato unificato, (2) traiettorie di interazione multi-turn con l'ambiente e la critica, e (3) dati a coppie per facilitare l'apprendimento delle preferenze. UltraInteract ci consente di condurre un'esplorazione approfondita dell'apprendimento delle preferenze per task di ragionamento. La nostra indagine rivela che alcuni algoritmi di apprendimento delle preferenze ben consolidati possono essere meno adatti per task di ragionamento rispetto alla loro efficacia nelle conversazioni generali. Ispirati da ciò, deriviamo un nuovo obiettivo di modellazione della ricompensa che, insieme a UltraInteract, porta a un forte modello di ricompensa.

English

We introduce Eurus, a suite of large language models (LLMs) optimized for reasoning. Finetuned from Mistral-7B and CodeLlama-70B, Eurus models achieve state-of-the-art results among open-source models on a diverse set of benchmarks covering mathematics, code generation, and logical reasoning problems. Notably, Eurus-70B beats GPT-3.5 Turbo in reasoning through a comprehensive benchmarking across 12 tests covering five tasks, and achieves a 33.3% pass@1 accuracy on LeetCode and 32.6% on TheoremQA, two challenging benchmarks, substantially outperforming existing open-source models by margins more than 13.3%. The strong performance of Eurus can be primarily attributed to UltraInteract, our newly-curated large-scale, high-quality alignment dataset specifically designed for complex reasoning tasks. UltraInteract can be used in both supervised fine-tuning and preference learning. For each instruction, it includes a preference tree consisting of (1) reasoning chains with diverse planning strategies in a unified format, (2) multi-turn interaction trajectories with the environment and the critique, and (3) pairwise data to facilitate preference learning. UltraInteract allows us to conduct an in-depth exploration of preference learning for reasoning tasks. Our investigation reveals that some well-established preference learning algorithms may be less suitable for reasoning tasks compared to their effectiveness in general conversations. Inspired by this, we derive a novel reward modeling objective which, together with UltraInteract, leads to a strong reward model.

Avanzamento dei Modelli Linguistici Generalisti nel Ragionamento attraverso Alberi di Preferenze

Advancing LLM Reasoning Generalists with Preference Trees

Abstract

Support