IHEval: Evaluatie van Taalmodellen op het Volgen van de Instructiehiërarchie

IHEval: Evaluating Language Models on Following the Instruction Hierarchy

February 12, 2025

Auteurs: Zhihan Zhang, Shiyang Li, Zixuan Zhang, Xin Liu, Haoming Jiang, Xianfeng Tang, Yifan Gao, Zheng Li, Haodong Wang, Zhaoxuan Tan, Yichuan Li, Qingyu Yin, Bing Yin, Meng Jiang

cs.AI

Samenvatting

De instructiehiërarchie, die een prioriteitsvolgorde vaststelt van systeemberichten naar gebruikersberichten, conversatiegeschiedenis en tooluitvoer, is essentieel voor het waarborgen van consistent en veilig gedrag in taalmodelen (LMs). Ondanks het belang ervan krijgt dit onderwerp beperkte aandacht, en er is een gebrek aan uitgebreide benchmarks voor het evalueren van de vaardigheid van modellen om de instructiehiërarchie te volgen. Wij overbruggen deze kloof door IHEval te introduceren, een nieuwe benchmark bestaande uit 3.538 voorbeelden verdeeld over negen taken, waarbij gevallen worden behandeld waarin instructies met verschillende prioriteiten overeenkomen of conflicteren. Onze evaluatie van populaire LMs benadrukt hun moeite om instructieprioriteiten te herkennen. Alle geëvalueerde modellen vertonen een sterke prestatieafname wanneer ze worden geconfronteerd met conflicterende instructies, vergeleken met hun oorspronkelijke prestaties in het volgen van instructies. Bovendien behaalt het meest competitieve open-source model slechts 48% nauwkeurigheid in het oplossen van dergelijke conflicten. Onze resultaten onderstrepen de noodzaak van gerichte optimalisatie in de toekomstige ontwikkeling van LMs.

English

The instruction hierarchy, which establishes a priority order from system messages to user messages, conversation history, and tool outputs, is essential for ensuring consistent and safe behavior in language models (LMs). Despite its importance, this topic receives limited attention, and there is a lack of comprehensive benchmarks for evaluating models' ability to follow the instruction hierarchy. We bridge this gap by introducing IHEval, a novel benchmark comprising 3,538 examples across nine tasks, covering cases where instructions in different priorities either align or conflict. Our evaluation of popular LMs highlights their struggle to recognize instruction priorities. All evaluated models experience a sharp performance decline when facing conflicting instructions, compared to their original instruction-following performance. Moreover, the most competitive open-source model only achieves 48% accuracy in resolving such conflicts. Our results underscore the need for targeted optimization in the future development of LMs.