UltraIF: Продвижение выполнения инструкций из дикой среды

UltraIF: Advancing Instruction Following from the Wild

February 6, 2025

Авторы: Kaikai An, Li Sheng, Ganqu Cui, Shuzheng Si, Ning Ding, Yu Cheng, Baobao Chang

cs.AI

Аннотация

Следование инструкциям сделало современные большие языковые модели (LLM) полезными помощниками. Однако ключ к приручению LLM на сложных инструкциях остается загадкой, поскольку существуют огромные разрывы между моделями, обученными сообществом с открытым исходным кодом, и теми, которые обучены ведущими компаниями. Для устранения этого разрыва мы предлагаем простой и масштабируемый подход UltraIF для создания LLM, способных следовать сложным инструкциям с использованием данных с открытым исходным кодом. UltraIF сначала декомпозирует запросы пользователей из реального мира на более простые запросы, ограничения и соответствующие вопросы для оценки ограничений. Затем мы обучаем UltraComposer создавать запросы, связанные с ограничениями, с вопросами для оценки. Этот композитор запросов позволяет нам синтезировать сложные инструкции, а также фильтровать ответы с помощью вопросов для оценки. В нашем эксперименте мы впервые успешно выровняли модель LLaMA-3.1-8B-Base, чтобы догнать ее версию с инструкциями на 5 бенчмарках по следованию инструкциям без какой-либо информации о бенчмарках, используя только модель 8B в качестве генератора ответов и оценщика. Выровненная модель также достигла конкурентоспособных результатов на других бенчмарках. Более того, мы также показываем, что UltraIF может дополнительно улучшить модель LLaMA-3.1-8B-Instruct через самовыравнивание, мотивируя более широкое применение метода. Наш код будет доступен по адресу https://github.com/kkk-an/UltraIF.

English

Instruction-following made modern large language models (LLMs) helpful assistants. However, the key to taming LLMs on complex instructions remains mysterious, for that there are huge gaps between models trained by open-source community and those trained by leading companies. To bridge the gap, we propose a simple and scalable approach UltraIF for building LLMs that can follow complex instructions with open-source data. UltraIF first decomposes real-world user prompts into simpler queries, constraints, and corresponding evaluation questions for the constraints. Then, we train an UltraComposer to compose constraint-associated prompts with evaluation questions. This prompt composer allows us to synthesize complicated instructions as well as filter responses with evaluation questions. In our experiment, for the first time, we successfully align LLaMA-3.1-8B-Base to catch up with its instruct version on 5 instruction-following benchmarks without any benchmark information, using only 8B model as response generator and evaluator. The aligned model also achieved competitive scores on other benchmarks. Moreover, we also show that UltraIF could further improve LLaMA-3.1-8B-Instruct through self-alignment, motivating broader use cases for the method. Our code will be available at https://github.com/kkk-an/UltraIF.