IHEval: Valutazione dei Modelli Linguistici nel Seguire la Gerarchia delle Istruzioni

IHEval: Evaluating Language Models on Following the Instruction Hierarchy

February 12, 2025

Autori: Zhihan Zhang, Shiyang Li, Zixuan Zhang, Xin Liu, Haoming Jiang, Xianfeng Tang, Yifan Gao, Zheng Li, Haodong Wang, Zhaoxuan Tan, Yichuan Li, Qingyu Yin, Bing Yin, Meng Jiang

cs.AI

Abstract

La gerarchia delle istruzioni, che stabilisce un ordine di priorità dai messaggi di sistema ai messaggi dell'utente, dalla cronologia della conversazione agli output degli strumenti, è essenziale per garantire un comportamento coerente e sicuro nei modelli linguistici (LM). Nonostante la sua importanza, questo argomento riceve un'attenzione limitata e mancano benchmark completi per valutare la capacità dei modelli di seguire la gerarchia delle istruzioni. Colmiamo questa lacuna introducendo IHEval, un nuovo benchmark composto da 3.538 esempi distribuiti su nove task, che coprono casi in cui le istruzioni di diversa priorità sono allineate o in conflitto. La nostra valutazione di LM popolari evidenzia la loro difficoltà nel riconoscere le priorità delle istruzioni. Tutti i modelli valutati mostrano un netto calo delle prestazioni quando si trovano di fronte a istruzioni in conflitto, rispetto alle loro prestazioni originali nel seguire le istruzioni. Inoltre, il modello open-source più competitivo raggiunge solo il 48% di accuratezza nel risolvere tali conflitti. I nostri risultati sottolineano la necessità di un'ottimizzazione mirata nello sviluppo futuro dei LM.

English

The instruction hierarchy, which establishes a priority order from system messages to user messages, conversation history, and tool outputs, is essential for ensuring consistent and safe behavior in language models (LMs). Despite its importance, this topic receives limited attention, and there is a lack of comprehensive benchmarks for evaluating models' ability to follow the instruction hierarchy. We bridge this gap by introducing IHEval, a novel benchmark comprising 3,538 examples across nine tasks, covering cases where instructions in different priorities either align or conflict. Our evaluation of popular LMs highlights their struggle to recognize instruction priorities. All evaluated models experience a sharp performance decline when facing conflicting instructions, compared to their original instruction-following performance. Moreover, the most competitive open-source model only achieves 48% accuracy in resolving such conflicts. Our results underscore the need for targeted optimization in the future development of LMs.