IHEval: Bewertung von Sprachmodellen hinsichtlich der Einhaltung der Instruktionshierarchie

IHEval: Evaluating Language Models on Following the Instruction Hierarchy

February 12, 2025

Autoren: Zhihan Zhang, Shiyang Li, Zixuan Zhang, Xin Liu, Haoming Jiang, Xianfeng Tang, Yifan Gao, Zheng Li, Haodong Wang, Zhaoxuan Tan, Yichuan Li, Qingyu Yin, Bing Yin, Meng Jiang

cs.AI

Zusammenfassung

Die Instruktionshierarchie, die eine Prioritätenreihenfolge von Systemnachrichten über Benutzernachrichten, Konversationsverlauf bis hin zu Werkzeugausgaben festlegt, ist entscheidend für die Gewährleistung eines konsistenten und sicheren Verhaltens von Sprachmodellen (LMs). Trotz ihrer Bedeutung wird dieses Thema nur begrenzt behandelt, und es mangelt an umfassenden Benchmarks zur Bewertung der Fähigkeit von Modellen, die Instruktionshierarchie zu befolgen. Wir schließen diese Lücke durch die Einführung von IHEval, einem neuartigen Benchmark, der 3.538 Beispiele über neun Aufgaben umfasst und Fälle abdeckt, in denen Instruktionen unterschiedlicher Prioritäten entweder übereinstimmen oder in Konflikt stehen. Unsere Bewertung populärer LMs zeigt, dass diese Schwierigkeiten haben, Instruktionsprioritäten zu erkennen. Alle bewerteten Modelle verzeichnen einen deutlichen Leistungsabfall, wenn sie mit widersprüchlichen Instruktionen konfrontiert werden, verglichen mit ihrer ursprünglichen Leistung bei der Befolgung von Instruktionen. Darüber hinaus erreicht das wettbewerbsfähigste Open-Source-Modell nur eine Genauigkeit von 48 % bei der Lösung solcher Konflikte. Unsere Ergebnisse unterstreichen die Notwendigkeit einer gezielten Optimierung in der zukünftigen Entwicklung von LMs.

English

The instruction hierarchy, which establishes a priority order from system messages to user messages, conversation history, and tool outputs, is essential for ensuring consistent and safe behavior in language models (LMs). Despite its importance, this topic receives limited attention, and there is a lack of comprehensive benchmarks for evaluating models' ability to follow the instruction hierarchy. We bridge this gap by introducing IHEval, a novel benchmark comprising 3,538 examples across nine tasks, covering cases where instructions in different priorities either align or conflict. Our evaluation of popular LMs highlights their struggle to recognize instruction priorities. All evaluated models experience a sharp performance decline when facing conflicting instructions, compared to their original instruction-following performance. Moreover, the most competitive open-source model only achieves 48% accuracy in resolving such conflicts. Our results underscore the need for targeted optimization in the future development of LMs.