Un Cadre de Contraintes Multi-Dimensionnelles pour Évaluer et Améliorer le Suivi des Instructions dans les Modèles de Langage à Grande Échelle

A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models

May 12, 2025

Auteurs: Junjie Ye, Caishuang Huang, Zhuohan Chen, Wenjie Fu, Chenyuan Yang, Leyi Yang, Yilong Wu, Peng Wang, Meng Zhou, Xiaolong Yang, Tao Gui, Qi Zhang, Zhongchao Shi, Jianping Fan, Xuanjing Huang

cs.AI

Résumé

L'évaluation de la compréhension des instructions mesure la capacité des grands modèles de langage (LLMs) à générer des sorties qui respectent les contraintes définies par l'utilisateur. Cependant, les benchmarks existants reposent souvent sur des invites de contraintes prédéfinies, qui manquent de la diversité des usages réels et limitent une évaluation fine des performances. Pour combler cette lacune, nous proposons un cadre de contraintes multidimensionnel englobant trois motifs de contraintes, quatre catégories de contraintes et quatre niveaux de difficulté. En nous appuyant sur ce cadre, nous développons un pipeline automatisé de génération d'instructions qui effectue l'expansion des contraintes, la détection de conflits et la réécriture des instructions, produisant ainsi 1 200 échantillons de tests vérifiables par code pour l'évaluation de la compréhension des instructions. Nous évaluons 19 LLMs issus de sept familles de modèles et révélons des variations substantielles de performance selon les formes de contraintes. Par exemple, la performance moyenne chute de 77,67 % au niveau I à 32,96 % au niveau IV. De plus, nous démontrons l'utilité de notre approche en l'utilisant pour générer des données pour l'apprentissage par renforcement, obtenant des gains significatifs dans la compréhension des instructions sans dégrader les performances générales. Une analyse approfondie indique que ces gains proviennent principalement de modifications des paramètres des modules d'attention du modèle, qui améliorent la reconnaissance et le respect des contraintes. Le code et les données sont disponibles sur https://github.com/Junjie-Ye/MulDimIF.

English

Instruction following evaluates large language models (LLMs) on their ability to generate outputs that adhere to user-defined constraints. However, existing benchmarks often rely on templated constraint prompts, which lack the diversity of real-world usage and limit fine-grained performance assessment. To fill this gap, we propose a multi-dimensional constraint framework encompassing three constraint patterns, four constraint categories, and four difficulty levels. Building on this framework, we develop an automated instruction generation pipeline that performs constraint expansion, conflict detection, and instruction rewriting, yielding 1,200 code-verifiable instruction-following test samples. We evaluate 19 LLMs across seven model families and uncover substantial variation in performance across constraint forms. For instance, average performance drops from 77.67% at Level I to 32.96% at Level IV. Furthermore, we demonstrate the utility of our approach by using it to generate data for reinforcement learning, achieving substantial gains in instruction following without degrading general performance. In-depth analysis indicates that these gains stem primarily from modifications in the model's attention modules parameters, which enhance constraint recognition and adherence. Code and data are available in https://github.com/Junjie-Ye/MulDimIF.