Avanzando en la generalización del razonamiento de modelos de lenguaje mediante árboles de preferencias

Advancing LLM Reasoning Generalists with Preference Trees

April 2, 2024

Autores: Lifan Yuan, Ganqu Cui, Hanbin Wang, Ning Ding, Xingyao Wang, Jia Deng, Boji Shan, Huimin Chen, Ruobing Xie, Yankai Lin, Zhenghao Liu, Bowen Zhou, Hao Peng, Zhiyuan Liu, Maosong Sun

cs.AI

Resumen

Presentamos Eurus, un conjunto de modelos de lenguaje de gran escala (LLMs) optimizados para el razonamiento. Ajustados a partir de Mistral-7B y CodeLlama-70B, los modelos Eurus logran resultados de vanguardia entre los modelos de código abierto en un conjunto diverso de benchmarks que cubren matemáticas, generación de código y problemas de razonamiento lógico. En particular, Eurus-70B supera a GPT-3.5 Turbo en razonamiento a través de una evaluación exhaustiva en 12 pruebas que abarcan cinco tareas, y alcanza un 33.3% de precisión pass@1 en LeetCode y un 32.6% en TheoremQA, dos benchmarks desafiantes, superando sustancialmente a los modelos de código abierto existentes con márgenes superiores al 13.3%. El fuerte rendimiento de Eurus se puede atribuir principalmente a UltraInteract, nuestro nuevo conjunto de datos de alineación a gran escala y de alta calidad, específicamente diseñado para tareas de razonamiento complejo. UltraInteract puede utilizarse tanto en el ajuste fino supervisado como en el aprendizaje de preferencias. Para cada instrucción, incluye un árbol de preferencias que consta de (1) cadenas de razonamiento con diversas estrategias de planificación en un formato unificado, (2) trayectorias de interacción multiturno con el entorno y la crítica, y (3) datos pareados para facilitar el aprendizaje de preferencias. UltraInteract nos permite realizar una exploración en profundidad del aprendizaje de preferencias para tareas de razonamiento. Nuestra investigación revela que algunos algoritmos de aprendizaje de preferencias bien establecidos pueden ser menos adecuados para tareas de razonamiento en comparación con su efectividad en conversaciones generales. Inspirados por esto, derivamos un nuevo objetivo de modelado de recompensas que, junto con UltraInteract, conduce a un modelo de recompensas robusto.

English

We introduce Eurus, a suite of large language models (LLMs) optimized for reasoning. Finetuned from Mistral-7B and CodeLlama-70B, Eurus models achieve state-of-the-art results among open-source models on a diverse set of benchmarks covering mathematics, code generation, and logical reasoning problems. Notably, Eurus-70B beats GPT-3.5 Turbo in reasoning through a comprehensive benchmarking across 12 tests covering five tasks, and achieves a 33.3% pass@1 accuracy on LeetCode and 32.6% on TheoremQA, two challenging benchmarks, substantially outperforming existing open-source models by margins more than 13.3%. The strong performance of Eurus can be primarily attributed to UltraInteract, our newly-curated large-scale, high-quality alignment dataset specifically designed for complex reasoning tasks. UltraInteract can be used in both supervised fine-tuning and preference learning. For each instruction, it includes a preference tree consisting of (1) reasoning chains with diverse planning strategies in a unified format, (2) multi-turn interaction trajectories with the environment and the critique, and (3) pairwise data to facilitate preference learning. UltraInteract allows us to conduct an in-depth exploration of preference learning for reasoning tasks. Our investigation reveals that some well-established preference learning algorithms may be less suitable for reasoning tasks compared to their effectiveness in general conversations. Inspired by this, we derive a novel reward modeling objective which, together with UltraInteract, leads to a strong reward model.