大規模言語モデルの指示追従能力を評価・改善するための多次元制約フレームワーク

A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models

May 12, 2025

著者: Junjie Ye, Caishuang Huang, Zhuohan Chen, Wenjie Fu, Chenyuan Yang, Leyi Yang, Yilong Wu, Peng Wang, Meng Zhou, Xiaolong Yang, Tao Gui, Qi Zhang, Zhongchao Shi, Jianping Fan, Xuanjing Huang

cs.AI

要旨

指示追従評価は、大規模言語モデル（LLM）がユーザー定義の制約に従った出力を生成する能力を評価するものです。しかし、既存のベンチマークはしばしばテンプレート化された制約プロンプトに依存しており、実世界の使用における多様性が欠如し、細かい性能評価が制限されています。このギャップを埋めるため、我々は3つの制約パターン、4つの制約カテゴリー、および4つの難易度レベルを包含する多次元制約フレームワークを提案します。このフレームワークに基づき、制約の拡張、衝突検出、指示の書き換えを実行する自動指示生成パイプラインを開発し、1,200のコード検証可能な指示追従テストサンプルを生成しました。7つのモデルファミリーにわたる19のLLMを評価し、制約形式間で性能に大きなばらつきがあることを明らかにしました。例えば、平均性能はレベルIの77.67%からレベルIVの32.96%に低下します。さらに、我々のアプローチの有用性を実証するため、強化学習用データの生成に使用し、一般的な性能を低下させることなく指示追従において大幅な向上を達成しました。詳細な分析により、これらの向上は主にモデルの注意モジュールパラメータの変更に起因し、制約の認識と遵守が強化されたことが示されています。コードとデータはhttps://github.com/Junjie-Ye/MulDimIFで利用可能です。

English

Instruction following evaluates large language models (LLMs) on their ability to generate outputs that adhere to user-defined constraints. However, existing benchmarks often rely on templated constraint prompts, which lack the diversity of real-world usage and limit fine-grained performance assessment. To fill this gap, we propose a multi-dimensional constraint framework encompassing three constraint patterns, four constraint categories, and four difficulty levels. Building on this framework, we develop an automated instruction generation pipeline that performs constraint expansion, conflict detection, and instruction rewriting, yielding 1,200 code-verifiable instruction-following test samples. We evaluate 19 LLMs across seven model families and uncover substantial variation in performance across constraint forms. For instance, average performance drops from 77.67% at Level I to 32.96% at Level IV. Furthermore, we demonstrate the utility of our approach by using it to generate data for reinforcement learning, achieving substantial gains in instruction following without degrading general performance. In-depth analysis indicates that these gains stem primarily from modifications in the model's attention modules parameters, which enhance constraint recognition and adherence. Code and data are available in https://github.com/Junjie-Ye/MulDimIF.