Un Framework Multidimensionale di Vincoli per Valutare e Migliorare il Rispetto delle Istruzioni nei Modelli Linguistici di Grande Scala

Abstract

La capacità di seguire istruzioni valuta i modelli linguistici di grandi dimensioni (LLM) sulla loro abilità di generare output che rispettino i vincoli definiti dall'utente. Tuttavia, i benchmark esistenti si basano spesso su prompt di vincoli predefiniti, che mancano della diversità dell'uso nel mondo reale e limitano una valutazione granulare delle prestazioni. Per colmare questa lacuna, proponiamo un framework multidimensionale di vincoli che comprende tre pattern di vincoli, quattro categorie di vincoli e quattro livelli di difficoltà. Basandoci su questo framework, sviluppiamo una pipeline automatizzata per la generazione di istruzioni che esegue l'espansione dei vincoli, il rilevamento di conflitti e la riscrittura delle istruzioni, producendo 1.200 campioni di test verificabili tramite codice per il seguimento delle istruzioni. Valutiamo 19 LLM appartenenti a sette famiglie di modelli e scopriamo una variazione significativa nelle prestazioni tra le diverse forme di vincoli. Ad esempio, la prestazione media scende dal 77,67% al Livello I al 32,96% al Livello IV. Inoltre, dimostriamo l'utilità del nostro approccio utilizzandolo per generare dati per l'apprendimento per rinforzo, ottenendo miglioramenti sostanziali nel seguimento delle istruzioni senza degradare le prestazioni generali. Un'analisi approfondita indica che questi miglioramenti derivano principalmente da modifiche nei parametri dei moduli di attenzione del modello, che migliorano il riconoscimento e l'aderenza ai vincoli. Il codice e i dati sono disponibili su https://github.com/Junjie-Ye/MulDimIF.

English

Instruction following evaluates large language models (LLMs) on their ability to generate outputs that adhere to user-defined constraints. However, existing benchmarks often rely on templated constraint prompts, which lack the diversity of real-world usage and limit fine-grained performance assessment. To fill this gap, we propose a multi-dimensional constraint framework encompassing three constraint patterns, four constraint categories, and four difficulty levels. Building on this framework, we develop an automated instruction generation pipeline that performs constraint expansion, conflict detection, and instruction rewriting, yielding 1,200 code-verifiable instruction-following test samples. We evaluate 19 LLMs across seven model families and uncover substantial variation in performance across constraint forms. For instance, average performance drops from 77.67% at Level I to 32.96% at Level IV. Furthermore, we demonstrate the utility of our approach by using it to generate data for reinforcement learning, achieving substantial gains in instruction following without degrading general performance. In-depth analysis indicates that these gains stem primarily from modifications in the model's attention modules parameters, which enhance constraint recognition and adherence. Code and data are available in https://github.com/Junjie-Ye/MulDimIF.

Un Framework Multidimensionale di Vincoli per Valutare e Migliorare il Rispetto delle Istruzioni nei Modelli Linguistici di Grande Scala

A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models

Abstract

Support