Развитие обобщенных специалистов по рассуждениям на основе LLM с использованием деревьев предпочтений

Advancing LLM Reasoning Generalists with Preference Trees

April 2, 2024

Авторы: Lifan Yuan, Ganqu Cui, Hanbin Wang, Ning Ding, Xingyao Wang, Jia Deng, Boji Shan, Huimin Chen, Ruobing Xie, Yankai Lin, Zhenghao Liu, Bowen Zhou, Hao Peng, Zhiyuan Liu, Maosong Sun

cs.AI

Аннотация

Мы представляем Eurus, набор больших языковых моделей (LLM), оптимизированных для рассуждений. Получившие доработку из Mistral-7B и CodeLlama-70B, модели Eurus достигают передовых результатов среди моделей с открытым исходным кодом на разнообразном наборе тестов, охватывающих математику, генерацию кода и логические задачи рассуждений. Следует отметить, что Eurus-70B превосходит GPT-3.5 Turbo в рассуждениях через всестороннюю бенчмаркинговую оценку на 12 тестах, охватывающих пять задач, и достигает точности pass@1 на уровне 33,3% на LeetCode и 32,6% на TheoremQA, двух сложных бенчмарках, значительно превосходя существующие модели с открытым исходным кодом более чем на 13,3%. Высокую производительность Eurus можно в первую очередь отнести к UltraInteract, нашему вновь составленному крупномасштабному, высококачественному набору данных для сложных задач рассуждений. UltraInteract можно использовать как для надзорного дообучения, так и для обучения предпочтениям. Для каждой инструкции он включает дерево предпочтений, состоящее из (1) цепочек рассуждений с различными стратегиями планирования в унифицированном формате, (2) траекторий многоходового взаимодействия с окружающей средой и критикой, и (3) попарных данных для облегчения обучения предпочтениям. UltraInteract позволяет нам провести глубокое исследование обучения предпочтениям для задач рассуждений. Наше исследование показывает, что некоторые хорошо установленные алгоритмы обучения предпочтениям могут быть менее подходящими для задач рассуждений по сравнению с их эффективностью в общих разговорах. Вдохновленные этим, мы вывели новую цель моделирования вознаграждения, которая, вместе с UltraInteract, приводит к сильной модели вознаграждения.

English

We introduce Eurus, a suite of large language models (LLMs) optimized for reasoning. Finetuned from Mistral-7B and CodeLlama-70B, Eurus models achieve state-of-the-art results among open-source models on a diverse set of benchmarks covering mathematics, code generation, and logical reasoning problems. Notably, Eurus-70B beats GPT-3.5 Turbo in reasoning through a comprehensive benchmarking across 12 tests covering five tasks, and achieves a 33.3% pass@1 accuracy on LeetCode and 32.6% on TheoremQA, two challenging benchmarks, substantially outperforming existing open-source models by margins more than 13.3%. The strong performance of Eurus can be primarily attributed to UltraInteract, our newly-curated large-scale, high-quality alignment dataset specifically designed for complex reasoning tasks. UltraInteract can be used in both supervised fine-tuning and preference learning. For each instruction, it includes a preference tree consisting of (1) reasoning chains with diverse planning strategies in a unified format, (2) multi-turn interaction trajectories with the environment and the critique, and (3) pairwise data to facilitate preference learning. UltraInteract allows us to conduct an in-depth exploration of preference learning for reasoning tasks. Our investigation reveals that some well-established preference learning algorithms may be less suitable for reasoning tasks compared to their effectiveness in general conversations. Inspired by this, we derive a novel reward modeling objective which, together with UltraInteract, leads to a strong reward model.