Een Multi-Dimensionaal Beperkingskader voor het Evalueren en Verbeteren van Instructievolging in Grote Taalmodellen

A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models

May 12, 2025

Auteurs: Junjie Ye, Caishuang Huang, Zhuohan Chen, Wenjie Fu, Chenyuan Yang, Leyi Yang, Yilong Wu, Peng Wang, Meng Zhou, Xiaolong Yang, Tao Gui, Qi Zhang, Zhongchao Shi, Jianping Fan, Xuanjing Huang

cs.AI

Samenvatting

Instructievolging evalueert grote taalmodellen (LLMs) op hun vermogen om uitvoer te genereren die voldoet aan door de gebruiker gedefinieerde beperkingen. Bestaande benchmarks maken echter vaak gebruik van gestandaardiseerde beperkingsprompts, die de diversiteit van real-world gebruik missen en een gedetailleerde prestatiebeoordeling beperken. Om deze leemte op te vullen, stellen we een multidimensionaal beperkingskader voor dat drie beperkingspatronen, vier beperkingscategorieën en vier moeilijkheidsniveaus omvat. Op basis van dit kader ontwikkelen we een geautomatiseerde instructiegeneratiepijplijn die beperkingsuitbreiding, conflictdetectie en instructieherformulering uitvoert, wat resulteert in 1.200 code-verifieerbare testvoorbeelden voor instructievolging. We evalueren 19 LLMs uit zeven modelfamilies en ontdekken aanzienlijke variatie in prestaties tussen verschillende beperkingsvormen. Zo daalt de gemiddelde prestatie bijvoorbeeld van 77,67% op Niveau I naar 32,96% op Niveau IV. Bovendien tonen we de bruikbaarheid van onze aanpak aan door deze te gebruiken om gegevens te genereren voor reinforcement learning, wat aanzienlijke verbeteringen in instructievolging oplevert zonder de algemene prestaties te verslechteren. Diepgaande analyse geeft aan dat deze verbeteringen voornamelijk voortkomen uit aanpassingen in de parameters van de aandachtmodules van het model, wat de herkenning en naleving van beperkingen verbetert. Code en gegevens zijn beschikbaar op https://github.com/Junjie-Ye/MulDimIF.

English

Instruction following evaluates large language models (LLMs) on their ability to generate outputs that adhere to user-defined constraints. However, existing benchmarks often rely on templated constraint prompts, which lack the diversity of real-world usage and limit fine-grained performance assessment. To fill this gap, we propose a multi-dimensional constraint framework encompassing three constraint patterns, four constraint categories, and four difficulty levels. Building on this framework, we develop an automated instruction generation pipeline that performs constraint expansion, conflict detection, and instruction rewriting, yielding 1,200 code-verifiable instruction-following test samples. We evaluate 19 LLMs across seven model families and uncover substantial variation in performance across constraint forms. For instance, average performance drops from 77.67% at Level I to 32.96% at Level IV. Furthermore, we demonstrate the utility of our approach by using it to generate data for reinforcement learning, achieving substantial gains in instruction following without degrading general performance. In-depth analysis indicates that these gains stem primarily from modifications in the model's attention modules parameters, which enhance constraint recognition and adherence. Code and data are available in https://github.com/Junjie-Ye/MulDimIF.