ウルトラIF：野生からの指示遵守の向上

UltraIF: Advancing Instruction Following from the Wild

February 6, 2025

著者: Kaikai An, Li Sheng, Ganqu Cui, Shuzheng Si, Ning Ding, Yu Cheng, Baobao Chang

cs.AI

要旨

指示に従うことで、現代の大規模言語モデル（LLMs）が役立つアシスタントとなりました。ただし、複雑な指示に対してLLMsを制御する鍵は依然として謎のままであり、オープンソースコミュニティによって訓練されたモデルと主要企業によって訓練されたモデルの間には大きな隔たりがあります。この隔たりを埋めるために、私たちはオープンソースデータを用いて複雑な指示に従えるLLMsを構築するためのシンプルかつスケーラブルなアプローチであるUltraIFを提案します。UltraIFは、まず現実世界のユーザープロンプトをより単純なクエリ、制約、およびそれに対応する制約の評価質問に分解します。次に、UltraComposerを訓練して、制約に関連するプロンプトと評価質問を構成します。このプロンプトコンポーザーにより、複雑な指示を合成し、評価質問で応答をフィルタリングすることが可能となります。実験では、初めて、ベンチマーク情報を使用せずに、8Bモデルを応答生成器および評価器としてのみ使用して、LLaMA-3.1-8B-Baseを5つの指示に従うベンチマークに合わせることに成功しました。合わせられたモデルは他のベンチマークでも競争力のあるスコアを達成しました。さらに、UltraIFが、より広範な使用例を促進する自己合わせを通じてLLaMA-3.1-8B-Instructをさらに改善できることも示しています。当該手法のコードはhttps://github.com/kkk-an/UltraIF で入手可能です。

English

Instruction-following made modern large language models (LLMs) helpful assistants. However, the key to taming LLMs on complex instructions remains mysterious, for that there are huge gaps between models trained by open-source community and those trained by leading companies. To bridge the gap, we propose a simple and scalable approach UltraIF for building LLMs that can follow complex instructions with open-source data. UltraIF first decomposes real-world user prompts into simpler queries, constraints, and corresponding evaluation questions for the constraints. Then, we train an UltraComposer to compose constraint-associated prompts with evaluation questions. This prompt composer allows us to synthesize complicated instructions as well as filter responses with evaluation questions. In our experiment, for the first time, we successfully align LLaMA-3.1-8B-Base to catch up with its instruct version on 5 instruction-following benchmarks without any benchmark information, using only 8B model as response generator and evaluator. The aligned model also achieved competitive scores on other benchmarks. Moreover, we also show that UltraIF could further improve LLaMA-3.1-8B-Instruct through self-alignment, motivating broader use cases for the method. Our code will be available at https://github.com/kkk-an/UltraIF.