Метод Ruler: модельно-независимый способ контроля длины генерируемого текста для крупных языковых моделей

Ruler: A Model-Agnostic Method to Control Generated Length for Large Language Models

September 27, 2024

Авторы: Jiaming Li, Lei Zhang, Yunshui Li, Ziqiang Liu, yuelin bai, Run Luo, Longze Chen, Min Yang

cs.AI

Аннотация

Способность к следованию инструкциям у больших языковых моделей позволяет людям взаимодействовать с искусственными интеллектуальными агентами естественным образом. Однако, когда требуется генерировать ответы определенной длины, большие языковые модели часто испытывают затруднения в удовлетворении потребностей пользователей из-за своей врожденной сложности в точном восприятии числовых ограничений. Для изучения способности больших языковых моделей контролировать длину генерируемых ответов мы предлагаем Задачу Генерации Целевой Длины (TLG) и разрабатываем две метрики, Точное Соответствие (PM) и Гибкое Соответствие (FM) для оценки производительности модели в соблюдении указанных длин ответов. Более того, мы представляем новый, не зависящий от модели подход под названием Ruler, который использует Мета-Токены Длины (MLTs) для улучшения способности больших языковых моделей следовать инструкциям с ограничениями по длине. Конкретно, Ruler оснащает LLMs способностью генерировать ответы определенной длины на основе ограничений по длине в инструкциях. Более того, Ruler может автоматически генерировать соответствующий MLT, когда ограничения по длине не указаны явно, демонстрируя отличную универсальность и обобщение. Комплексные эксперименты показывают эффективность Ruler на различных LLMs в Задаче Генерации Целевой Длины, например, на уровне All Level 27.97 средний прирост по PM, 29.57 средний прирост по FM. Кроме того, мы проводим обширные абляционные эксперименты для дальнейшего подтверждения эффективности и обобщаемости Ruler. Наш код и данные доступны по ссылке https://github.com/Geaming2002/Ruler.

English

The instruction-following ability of large language models enables humans to interact with AI agents in a natural way. However, when required to generate responses of a specific length, large language models often struggle to meet users' needs due to their inherent difficulty in accurately perceiving numerical constraints. To explore the ability of large language models to control the length of generated responses, we propose the Target Length Generation Task (TLG) and design two metrics, Precise Match (PM) and Flexible Match (FM) to evaluate the model's performance in adhering to specified response lengths. Furthermore, we introduce a novel, model-agnostic approach called Ruler, which employs Meta Length Tokens (MLTs) to enhance the instruction-following ability of large language models under length-constrained instructions. Specifically, Ruler equips LLMs with the ability to generate responses of a specified length based on length constraints within the instructions. Moreover, Ruler can automatically generate appropriate MLT when length constraints are not explicitly provided, demonstrating excellent versatility and generalization. Comprehensive experiments show the effectiveness of Ruler across different LLMs on Target Length Generation Task, e.g., at All Level 27.97 average gain on PM, 29.57 average gain on FM. In addition, we conduct extensive ablation experiments to further substantiate the efficacy and generalization of Ruler. Our code and data is available at https://github.com/Geaming2002/Ruler.