UltraIF: Fortschritte beim Anweisungsfolgen aus dem Wildnis

UltraIF: Advancing Instruction Following from the Wild

February 6, 2025

Autoren: Kaikai An, Li Sheng, Ganqu Cui, Shuzheng Si, Ning Ding, Yu Cheng, Baobao Chang

cs.AI

Zusammenfassung

Die Befolgung von Anweisungen hat moderne große Sprachmodelle (LLMs) zu hilfreichen Assistenten gemacht. Dennoch bleibt das Geheimnis, wie man LLMs bei komplexen Anweisungen bändigt, da es große Unterschiede zwischen Modellen gibt, die von der Open-Source-Community und denen, die von führenden Unternehmen trainiert wurden. Um diese Kluft zu überbrücken, schlagen wir einen einfachen und skalierbaren Ansatz namens UltraIF vor, um LLMs aufzubauen, die komplexe Anweisungen mit Open-Source-Daten befolgen können. UltraIF zerlegt zunächst Benutzeranfragen aus der realen Welt in einfachere Abfragen, Einschränkungen und entsprechende Evaluierungsfragen für die Einschränkungen. Anschließend trainieren wir einen UltraComposer, um einschränkungsbezogene Anfragen mit Evaluierungsfragen zu verfassen. Dieser Anfragekomponist ermöglicht es uns, komplizierte Anweisungen zu synthetisieren und Antworten mit Evaluierungsfragen zu filtern. In unserem Experiment haben wir es zum ersten Mal geschafft, das Modell LLaMA-3.1-8B-Base mit seiner Instruktionsversion bei 5 Anweisungs-Benchmarks ohne jegliche Benchmark-Informationen in Einklang zu bringen, wobei nur das 8B-Modell als Antwortgenerator und Evaluierer verwendet wurde. Das abgestimmte Modell erzielte auch wettbewerbsfähige Punktzahlen in anderen Benchmarks. Darüber hinaus zeigen wir, dass UltraIF die Leistung von LLaMA-3.1-8B-Instruct durch Selbstabstimmung weiter verbessern könnte, was breitere Anwendungsfälle für die Methode motiviert. Unser Code wird unter https://github.com/kkk-an/UltraIF verfügbar sein.

English

Instruction-following made modern large language models (LLMs) helpful assistants. However, the key to taming LLMs on complex instructions remains mysterious, for that there are huge gaps between models trained by open-source community and those trained by leading companies. To bridge the gap, we propose a simple and scalable approach UltraIF for building LLMs that can follow complex instructions with open-source data. UltraIF first decomposes real-world user prompts into simpler queries, constraints, and corresponding evaluation questions for the constraints. Then, we train an UltraComposer to compose constraint-associated prompts with evaluation questions. This prompt composer allows us to synthesize complicated instructions as well as filter responses with evaluation questions. In our experiment, for the first time, we successfully align LLaMA-3.1-8B-Base to catch up with its instruct version on 5 instruction-following benchmarks without any benchmark information, using only 8B model as response generator and evaluator. The aligned model also achieved competitive scores on other benchmarks. Moreover, we also show that UltraIF could further improve LLaMA-3.1-8B-Instruct through self-alignment, motivating broader use cases for the method. Our code will be available at https://github.com/kkk-an/UltraIF.