Régua: Um Método Agnóstico de Modelo para Controlar o Comprimento Gerado por Modelos de Linguagem Grandes

Ruler: A Model-Agnostic Method to Control Generated Length for Large Language Models

September 27, 2024

Autores: Jiaming Li, Lei Zhang, Yunshui Li, Ziqiang Liu, yuelin bai, Run Luo, Longze Chen, Min Yang

cs.AI

Resumo

A capacidade de seguir instruções dos grandes modelos de linguagem permite que os humanos interajam com agentes de IA de forma natural. No entanto, ao serem solicitados a gerar respostas de um comprimento específico, os grandes modelos de linguagem frequentemente têm dificuldade em atender às necessidades dos usuários devido à sua dificuldade inerente em perceber com precisão as restrições numéricas. Para explorar a capacidade dos grandes modelos de linguagem em controlar o comprimento das respostas geradas, propomos a Tarefa de Geração de Comprimento-Alvo (TLG) e projetamos duas métricas, Correspondência Precisa (PM) e Correspondência Flexível (FM) para avaliar o desempenho do modelo em aderir aos comprimentos de resposta especificados. Além disso, introduzimos uma abordagem inovadora, independente do modelo, chamada Ruler, que utiliza Tokens de Comprimento Meta (MLTs) para aprimorar a capacidade de seguir instruções dos grandes modelos de linguagem sob instruções com restrição de comprimento. Especificamente, o Ruler capacita os LLMs com a capacidade de gerar respostas de um comprimento especificado com base nas restrições de comprimento nas instruções. Além disso, o Ruler pode gerar automaticamente um MLT apropriado quando as restrições de comprimento não são fornecidas explicitamente, demonstrando excelente versatilidade e generalização. Experimentos abrangentes mostram a eficácia do Ruler em diferentes LLMs na Tarefa de Geração de Comprimento-Alvo, por exemplo, em All Level 27,97 de ganho médio em PM, 29,57 de ganho médio em FM. Além disso, realizamos extensos experimentos de ablação para substanciar ainda mais a eficácia e generalização do Ruler. Nosso código e dados estão disponíveis em https://github.com/Geaming2002/Ruler.

English

The instruction-following ability of large language models enables humans to interact with AI agents in a natural way. However, when required to generate responses of a specific length, large language models often struggle to meet users' needs due to their inherent difficulty in accurately perceiving numerical constraints. To explore the ability of large language models to control the length of generated responses, we propose the Target Length Generation Task (TLG) and design two metrics, Precise Match (PM) and Flexible Match (FM) to evaluate the model's performance in adhering to specified response lengths. Furthermore, we introduce a novel, model-agnostic approach called Ruler, which employs Meta Length Tokens (MLTs) to enhance the instruction-following ability of large language models under length-constrained instructions. Specifically, Ruler equips LLMs with the ability to generate responses of a specified length based on length constraints within the instructions. Moreover, Ruler can automatically generate appropriate MLT when length constraints are not explicitly provided, demonstrating excellent versatility and generalization. Comprehensive experiments show the effectiveness of Ruler across different LLMs on Target Length Generation Task, e.g., at All Level 27.97 average gain on PM, 29.57 average gain on FM. In addition, we conduct extensive ablation experiments to further substantiate the efficacy and generalization of Ruler. Our code and data is available at https://github.com/Geaming2002/Ruler.