대규모 언어 모델의 명령어 수행 평가 및 개선을 위한 다차원 제약 프레임워크

A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models

May 12, 2025

저자: Junjie Ye, Caishuang Huang, Zhuohan Chen, Wenjie Fu, Chenyuan Yang, Leyi Yang, Yilong Wu, Peng Wang, Meng Zhou, Xiaolong Yang, Tao Gui, Qi Zhang, Zhongchao Shi, Jianping Fan, Xuanjing Huang

cs.AI

초록

명령어 수행 평가는 대규모 언어 모델(LLM)이 사용자 정의 제약 조건을 준수하는 출력을 생성하는 능력을 평가합니다. 그러나 기존 벤치마크는 주로 템플릿화된 제약 조건 프롬프트에 의존하는 경우가 많아, 실제 사용 환경의 다양성이 부족하고 세밀한 성능 평가가 제한됩니다. 이러한 격차를 메우기 위해, 우리는 세 가지 제약 패턴, 네 가지 제약 범주, 그리고 네 가지 난이도 수준을 포함하는 다차원 제약 프레임워크를 제안합니다. 이 프레임워크를 기반으로, 제약 조건 확장, 충돌 감지, 명령어 재작성을 수행하는 자동화된 명령어 생성 파이프라인을 개발하여 1,200개의 코드 검증 가능한 명령어 수행 테스트 샘플을 생성했습니다. 우리는 7개 모델 패밀리에 속한 19개의 LLM을 평가하고, 제약 조건 형태에 따른 성능 차이를 확인했습니다. 예를 들어, 평균 성능은 Level I에서 77.67%에서 Level IV에서 32.96%로 크게 하락했습니다. 또한, 우리는 이 접근법을 강화 학습 데이터 생성에 활용하여 일반 성능 저하 없이 명령어 수행 능력을 크게 향상시켰음을 입증했습니다. 심층 분석 결과, 이러한 성능 향상은 주로 모델의 어텐션 모듈 매개변수 수정에서 비롯되며, 이는 제약 조건 인식과 준수를 강화하는 것으로 나타났습니다. 코드와 데이터는 https://github.com/Junjie-Ye/MulDimIF에서 확인할 수 있습니다.

English

Instruction following evaluates large language models (LLMs) on their ability to generate outputs that adhere to user-defined constraints. However, existing benchmarks often rely on templated constraint prompts, which lack the diversity of real-world usage and limit fine-grained performance assessment. To fill this gap, we propose a multi-dimensional constraint framework encompassing three constraint patterns, four constraint categories, and four difficulty levels. Building on this framework, we develop an automated instruction generation pipeline that performs constraint expansion, conflict detection, and instruction rewriting, yielding 1,200 code-verifiable instruction-following test samples. We evaluate 19 LLMs across seven model families and uncover substantial variation in performance across constraint forms. For instance, average performance drops from 77.67% at Level I to 32.96% at Level IV. Furthermore, we demonstrate the utility of our approach by using it to generate data for reinforcement learning, achieving substantial gains in instruction following without degrading general performance. In-depth analysis indicates that these gains stem primarily from modifications in the model's attention modules parameters, which enhance constraint recognition and adherence. Code and data are available in https://github.com/Junjie-Ye/MulDimIF.