IHEval: Avaliação de Modelos de Linguagem na Adesão à Hierarquia de Instruções

IHEval: Evaluating Language Models on Following the Instruction Hierarchy

February 12, 2025

Autores: Zhihan Zhang, Shiyang Li, Zixuan Zhang, Xin Liu, Haoming Jiang, Xianfeng Tang, Yifan Gao, Zheng Li, Haodong Wang, Zhaoxuan Tan, Yichuan Li, Qingyu Yin, Bing Yin, Meng Jiang

cs.AI

Resumo

A hierarquia de instruções, que estabelece uma ordem de prioridade desde mensagens do sistema até mensagens do usuário, histórico de conversas e saídas de ferramentas, é essencial para garantir comportamento consistente e seguro em modelos de linguagem (LMs). Apesar de sua importância, esse tópico recebe atenção limitada, e há uma carência de benchmarks abrangentes para avaliar a capacidade dos modelos de seguir a hierarquia de instruções. Nós preenchemos essa lacuna ao introduzir o IHEval, um benchmark inovador composto por 3.538 exemplos em nove tarefas, cobrindo casos onde instruções de diferentes prioridades estão alinhadas ou em conflito. Nossa avaliação de LMs populares destaca a dificuldade desses modelos em reconhecer prioridades de instruções. Todos os modelos avaliados apresentam uma queda acentuada no desempenho ao enfrentar instruções conflitantes, em comparação com seu desempenho original de seguir instruções. Além disso, o modelo de código aberto mais competitivo alcança apenas 48% de precisão na resolução de tais conflitos. Nossos resultados destacam a necessidade de otimização direcionada no desenvolvimento futuro de LMs.

English

The instruction hierarchy, which establishes a priority order from system messages to user messages, conversation history, and tool outputs, is essential for ensuring consistent and safe behavior in language models (LMs). Despite its importance, this topic receives limited attention, and there is a lack of comprehensive benchmarks for evaluating models' ability to follow the instruction hierarchy. We bridge this gap by introducing IHEval, a novel benchmark comprising 3,538 examples across nine tasks, covering cases where instructions in different priorities either align or conflict. Our evaluation of popular LMs highlights their struggle to recognize instruction priorities. All evaluated models experience a sharp performance decline when facing conflicting instructions, compared to their original instruction-following performance. Moreover, the most competitive open-source model only achieves 48% accuracy in resolving such conflicts. Our results underscore the need for targeted optimization in the future development of LMs.