Um Framework Multidimensional de Restrições para Avaliar e Melhorar o Seguimento de Instruções em Modelos de Linguagem de Grande Escala

Resumo

A avaliação de seguimento de instruções testa modelos de linguagem de grande escala (LLMs) em sua capacidade de gerar saídas que aderem a restrições definidas pelo usuário. No entanto, benchmarks existentes frequentemente dependem de prompts de restrições padronizados, que carecem da diversidade do uso no mundo real e limitam a avaliação de desempenho em nível granular. Para preencher essa lacuna, propomos uma estrutura multidimensional de restrições que abrange três padrões de restrições, quatro categorias de restrições e quatro níveis de dificuldade. Com base nessa estrutura, desenvolvemos um pipeline automatizado de geração de instruções que realiza expansão de restrições, detecção de conflitos e reescrita de instruções, resultando em 1.200 amostras de teste de seguimento de instruções verificáveis por código. Avaliamos 19 LLMs de sete famílias de modelos e descobrimos uma variação substancial no desempenho entre as formas de restrições. Por exemplo, o desempenho médio cai de 77,67% no Nível I para 32,96% no Nível IV. Além disso, demonstramos a utilidade de nossa abordagem ao usá-la para gerar dados para aprendizado por reforço, alcançando ganhos significativos no seguimento de instruções sem degradar o desempenho geral. Análises detalhadas indicam que esses ganhos decorrem principalmente de modificações nos parâmetros dos módulos de atenção do modelo, que melhoram o reconhecimento e a aderência às restrições. O código e os dados estão disponíveis em https://github.com/Junjie-Ye/MulDimIF.

English

Instruction following evaluates large language models (LLMs) on their ability to generate outputs that adhere to user-defined constraints. However, existing benchmarks often rely on templated constraint prompts, which lack the diversity of real-world usage and limit fine-grained performance assessment. To fill this gap, we propose a multi-dimensional constraint framework encompassing three constraint patterns, four constraint categories, and four difficulty levels. Building on this framework, we develop an automated instruction generation pipeline that performs constraint expansion, conflict detection, and instruction rewriting, yielding 1,200 code-verifiable instruction-following test samples. We evaluate 19 LLMs across seven model families and uncover substantial variation in performance across constraint forms. For instance, average performance drops from 77.67% at Level I to 32.96% at Level IV. Furthermore, we demonstrate the utility of our approach by using it to generate data for reinforcement learning, achieving substantial gains in instruction following without degrading general performance. In-depth analysis indicates that these gains stem primarily from modifications in the model's attention modules parameters, which enhance constraint recognition and adherence. Code and data are available in https://github.com/Junjie-Ye/MulDimIF.

Um Framework Multidimensional de Restrições para Avaliar e Melhorar o Seguimento de Instruções em Modelos de Linguagem de Grande Escala

A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models

Resumo

Support