Ruler: Een model-agnostische methode om de gegenereerde lengte te controleren voor grote taalmodellen.

Ruler: A Model-Agnostic Method to Control Generated Length for Large Language Models

September 27, 2024

Auteurs: Jiaming Li, Lei Zhang, Yunshui Li, Ziqiang Liu, yuelin bai, Run Luo, Longze Chen, Min Yang

cs.AI

Samenvatting

De mogelijkheid van grote taalmodellen om instructies op te volgen stelt mensen in staat om op een natuurlijke manier met AI-agenten te communiceren. Echter, wanneer ze worden gevraagd om reacties van een specifieke lengte te genereren, hebben grote taalmodellen vaak moeite om aan de behoeften van gebruikers te voldoen vanwege hun inherente moeilijkheid om numerieke beperkingen nauwkeurig waar te nemen. Om de mogelijkheid van grote taalmodellen om de lengte van gegenereerde reacties te controleren te verkennen, stellen we de Taak voor het Genereren van Doellengte (TGD) voor en ontwerpen we twee metrieken, Nauwkeurige Overeenkomst (NO) en Flexibele Overeenkomst (FO) om de prestaties van het model bij het naleven van gespecificeerde reactielengtes te evalueren. Bovendien introduceren we een nieuw, model-agnostisch benadering genaamd Ruler, die Meta Lengte Tokens (MLT's) gebruikt om de mogelijkheid van grote taalmodellen om instructies met lengtebeperkingen op te volgen te verbeteren. Specifiek rust Ruler LLM's uit met de mogelijkheid om reacties van een gespecificeerde lengte te genereren op basis van lengtebeperkingen binnen de instructies. Bovendien kan Ruler automatisch passende MLT genereren wanneer lengtebeperkingen niet expliciet worden verstrekt, wat uitstekende veelzijdigheid en generalisatie aantoont. Uitgebreide experimenten tonen de effectiviteit van Ruler aan bij verschillende LLM's op de Taak voor het Genereren van Doellengte, bijvoorbeeld, op All Level 27.97 gemiddelde winst op NO, 29.57 gemiddelde winst op FO. Bovendien voeren we uitgebreide ablatie-experimenten uit om de doeltreffendheid en generalisatie van Ruler verder te onderbouwen. Onze code en data zijn beschikbaar op https://github.com/Geaming2002/Ruler.

English

The instruction-following ability of large language models enables humans to interact with AI agents in a natural way. However, when required to generate responses of a specific length, large language models often struggle to meet users' needs due to their inherent difficulty in accurately perceiving numerical constraints. To explore the ability of large language models to control the length of generated responses, we propose the Target Length Generation Task (TLG) and design two metrics, Precise Match (PM) and Flexible Match (FM) to evaluate the model's performance in adhering to specified response lengths. Furthermore, we introduce a novel, model-agnostic approach called Ruler, which employs Meta Length Tokens (MLTs) to enhance the instruction-following ability of large language models under length-constrained instructions. Specifically, Ruler equips LLMs with the ability to generate responses of a specified length based on length constraints within the instructions. Moreover, Ruler can automatically generate appropriate MLT when length constraints are not explicitly provided, demonstrating excellent versatility and generalization. Comprehensive experiments show the effectiveness of Ruler across different LLMs on Target Length Generation Task, e.g., at All Level 27.97 average gain on PM, 29.57 average gain on FM. In addition, we conduct extensive ablation experiments to further substantiate the efficacy and generalization of Ruler. Our code and data is available at https://github.com/Geaming2002/Ruler.