Règle : une méthode agnostique au modèle pour contrôler la longueur générée pour les grands modèles de langage

Ruler: A Model-Agnostic Method to Control Generated Length for Large Language Models

September 27, 2024

Auteurs: Jiaming Li, Lei Zhang, Yunshui Li, Ziqiang Liu, yuelin bai, Run Luo, Longze Chen, Min Yang

cs.AI

Résumé

La capacité des grands modèles de langage à suivre des instructions permet aux humains d'interagir avec des agents d'IA de manière naturelle. Cependant, lorsqu'ils doivent générer des réponses d'une longueur spécifique, les grands modèles de langage ont souvent du mal à répondre aux besoins des utilisateurs en raison de leur difficulté inhérente à percevoir avec précision les contraintes numériques. Pour explorer la capacité des grands modèles de langage à contrôler la longueur des réponses générées, nous proposons la Tâche de Génération de Longueur Cible (TLG) et concevons deux métriques, Correspondance Précise (PM) et Correspondance Flexible (FM) pour évaluer la performance du modèle à respecter les longueurs de réponse spécifiées. De plus, nous introduisons une approche novatrice, indépendante du modèle, appelée Ruler, qui utilise des Jetons de Longueur Méta (MLTs) pour améliorer la capacité des grands modèles de langage à suivre les instructions sous contrainte de longueur. Plus précisément, Ruler dote les LLMs de la capacité de générer des réponses d'une longueur spécifiée en fonction des contraintes de longueur présentes dans les instructions. De plus, Ruler peut générer automatiquement un MLT approprié lorsque les contraintes de longueur ne sont pas explicitement fournies, démontrant ainsi une excellente polyvalence et généralisation. Des expériences complètes montrent l'efficacité de Ruler sur différentes LLMs dans la Tâche de Génération de Longueur Cible, par exemple, un gain moyen de 27,97 en PM et 29,57 en FM. De plus, nous menons des expériences d'ablation approfondies pour étayer davantage l'efficacité et la généralisation de Ruler. Notre code et nos données sont disponibles sur https://github.com/Geaming2002/Ruler.

English

The instruction-following ability of large language models enables humans to interact with AI agents in a natural way. However, when required to generate responses of a specific length, large language models often struggle to meet users' needs due to their inherent difficulty in accurately perceiving numerical constraints. To explore the ability of large language models to control the length of generated responses, we propose the Target Length Generation Task (TLG) and design two metrics, Precise Match (PM) and Flexible Match (FM) to evaluate the model's performance in adhering to specified response lengths. Furthermore, we introduce a novel, model-agnostic approach called Ruler, which employs Meta Length Tokens (MLTs) to enhance the instruction-following ability of large language models under length-constrained instructions. Specifically, Ruler equips LLMs with the ability to generate responses of a specified length based on length constraints within the instructions. Moreover, Ruler can automatically generate appropriate MLT when length constraints are not explicitly provided, demonstrating excellent versatility and generalization. Comprehensive experiments show the effectiveness of Ruler across different LLMs on Target Length Generation Task, e.g., at All Level 27.97 average gain on PM, 29.57 average gain on FM. In addition, we conduct extensive ablation experiments to further substantiate the efficacy and generalization of Ruler. Our code and data is available at https://github.com/Geaming2002/Ruler.