Многомерная система ограничений для оценки и улучшения выполнения инструкций в крупных языковых моделях

A Multi-Dimensional Constraint Framework for Evaluating and Improving Instruction Following in Large Language Models

May 12, 2025

Авторы: Junjie Ye, Caishuang Huang, Zhuohan Chen, Wenjie Fu, Chenyuan Yang, Leyi Yang, Yilong Wu, Peng Wang, Meng Zhou, Xiaolong Yang, Tao Gui, Qi Zhang, Zhongchao Shi, Jianping Fan, Xuanjing Huang

cs.AI

Аннотация

Оценка выполнения инструкций проверяет способность больших языковых моделей (LLMs) генерировать выходные данные, соответствующие ограничениям, заданным пользователем. Однако существующие бенчмарки часто полагаются на шаблонные запросы с ограничениями, которые не отражают разнообразия реального использования и ограничивают детальную оценку производительности. Чтобы заполнить этот пробел, мы предлагаем многомерную структуру ограничений, включающую три шаблона ограничений, четыре категории ограничений и четыре уровня сложности. На основе этой структуры мы разрабатываем автоматизированный конвейер генерации инструкций, который выполняет расширение ограничений, обнаружение конфликтов и переписывание инструкций, создавая 1200 тестовых примеров с проверяемым кодом для выполнения инструкций. Мы оцениваем 19 LLM из семи семейств моделей и обнаруживаем значительные различия в производительности в зависимости от форм ограничений. Например, средняя производительность падает с 77,67% на уровне I до 32,96% на уровне IV. Кроме того, мы демонстрируем полезность нашего подхода, используя его для генерации данных для обучения с подкреплением, достигая значительных улучшений в выполнении инструкций без ухудшения общей производительности. Глубокий анализ показывает, что эти улучшения в основном связаны с изменениями параметров модулей внимания модели, которые повышают распознавание и соблюдение ограничений. Код и данные доступны по адресу https://github.com/Junjie-Ye/MulDimIF.

English

Instruction following evaluates large language models (LLMs) on their ability to generate outputs that adhere to user-defined constraints. However, existing benchmarks often rely on templated constraint prompts, which lack the diversity of real-world usage and limit fine-grained performance assessment. To fill this gap, we propose a multi-dimensional constraint framework encompassing three constraint patterns, four constraint categories, and four difficulty levels. Building on this framework, we develop an automated instruction generation pipeline that performs constraint expansion, conflict detection, and instruction rewriting, yielding 1,200 code-verifiable instruction-following test samples. We evaluate 19 LLMs across seven model families and uncover substantial variation in performance across constraint forms. For instance, average performance drops from 77.67% at Level I to 32.96% at Level IV. Furthermore, we demonstrate the utility of our approach by using it to generate data for reinforcement learning, achieving substantial gains in instruction following without degrading general performance. In-depth analysis indicates that these gains stem primarily from modifications in the model's attention modules parameters, which enhance constraint recognition and adherence. Code and data are available in https://github.com/Junjie-Ye/MulDimIF.