IHEval: Evaluación de Modelos de Lenguaje en el Seguimiento de la Jerarquía de Instrucciones

IHEval: Evaluating Language Models on Following the Instruction Hierarchy

February 12, 2025

Autores: Zhihan Zhang, Shiyang Li, Zixuan Zhang, Xin Liu, Haoming Jiang, Xianfeng Tang, Yifan Gao, Zheng Li, Haodong Wang, Zhaoxuan Tan, Yichuan Li, Qingyu Yin, Bing Yin, Meng Jiang

cs.AI

Resumen

La jerarquía de instrucciones, que establece un orden de prioridad desde los mensajes del sistema hasta los mensajes del usuario, el historial de conversación y las salidas de herramientas, es esencial para garantizar un comportamiento consistente y seguro en los modelos de lenguaje (LM). A pesar de su importancia, este tema recibe poca atención y existe una falta de benchmarks integrales para evaluar la capacidad de los modelos para seguir la jerarquía de instrucciones. Cerramos esta brecha al presentar IHEval, un benchmark novedoso que comprende 3,538 ejemplos en nueve tareas, cubriendo casos donde las instrucciones de diferentes prioridades se alinean o entran en conflicto. Nuestra evaluación de modelos de lenguaje populares destaca su dificultad para reconocer las prioridades de las instrucciones. Todos los modelos evaluados experimentan una fuerte disminución en su rendimiento al enfrentarse a instrucciones conflictivas, en comparación con su rendimiento original de seguimiento de instrucciones. Además, el modelo de código abierto más competitivo solo alcanza un 48% de precisión al resolver dichos conflictos. Nuestros resultados subrayan la necesidad de una optimización específica en el desarrollo futuro de los modelos de lenguaje.

English

The instruction hierarchy, which establishes a priority order from system messages to user messages, conversation history, and tool outputs, is essential for ensuring consistent and safe behavior in language models (LMs). Despite its importance, this topic receives limited attention, and there is a lack of comprehensive benchmarks for evaluating models' ability to follow the instruction hierarchy. We bridge this gap by introducing IHEval, a novel benchmark comprising 3,538 examples across nine tasks, covering cases where instructions in different priorities either align or conflict. Our evaluation of popular LMs highlights their struggle to recognize instruction priorities. All evaluated models experience a sharp performance decline when facing conflicting instructions, compared to their original instruction-following performance. Moreover, the most competitive open-source model only achieves 48% accuracy in resolving such conflicts. Our results underscore the need for targeted optimization in the future development of LMs.