Richtlinie: Eine modellagnostische Methode zur Steuerung der generierten Länge für große Sprachmodelle

Ruler: A Model-Agnostic Method to Control Generated Length for Large Language Models

September 27, 2024

Autoren: Jiaming Li, Lei Zhang, Yunshui Li, Ziqiang Liu, yuelin bai, Run Luo, Longze Chen, Min Yang

cs.AI

Zusammenfassung

Die Fähigkeit großer Sprachmodelle, Anweisungen zu befolgen, ermöglicht es Menschen, auf natürliche Weise mit KI-Agenten zu interagieren. Wenn jedoch große Sprachmodelle aufgefordert werden, Antworten einer spezifischen Länge zu generieren, haben sie oft Schwierigkeiten, den Bedürfnissen der Benutzer gerecht zu werden, aufgrund ihrer inhärenten Schwierigkeit, numerische Beschränkungen genau wahrzunehmen. Um die Fähigkeit großer Sprachmodelle zur Kontrolle der Länge generierter Antworten zu erforschen, schlagen wir die Aufgabe der Ziel-Längen-Generierung (TLG) vor und entwerfen zwei Metriken, Präzise Übereinstimmung (PM) und Flexible Übereinstimmung (FM), um die Leistung des Modells bei der Einhaltung spezifischer Antwortlängen zu bewerten. Darüber hinaus stellen wir einen neuartigen, modellagnostischen Ansatz namens Ruler vor, der Meta-Längen-Token (MLTs) verwendet, um die Fähigkeit großer Sprachmodelle zur Befolgung von Anweisungen unter längenbeschränkten Bedingungen zu verbessern. Speziell stattet Ruler LLMs mit der Fähigkeit aus, Antworten einer spezifizierten Länge basierend auf Längenbeschränkungen innerhalb der Anweisungen zu generieren. Darüber hinaus kann Ruler automatisch geeignete MLT generieren, wenn Längenbeschränkungen nicht explizit angegeben sind, was eine ausgezeichnete Vielseitigkeit und Verallgemeinerungsfähigkeit zeigt. Umfassende Experimente zeigen die Wirksamkeit von Ruler bei verschiedenen LLMs in der Aufgabe der Ziel-Längen-Generierung, z. B. bei einem durchschnittlichen Gewinn von 27,97 auf PM und 29,57 auf FM auf allen Ebenen. Darüber hinaus führen wir umfangreiche Ablationsversuche durch, um die Wirksamkeit und Verallgemeinerungsfähigkeit von Ruler weiter zu untermauern. Unser Code und unsere Daten sind verfügbar unter https://github.com/Geaming2002/Ruler.

English

The instruction-following ability of large language models enables humans to interact with AI agents in a natural way. However, when required to generate responses of a specific length, large language models often struggle to meet users' needs due to their inherent difficulty in accurately perceiving numerical constraints. To explore the ability of large language models to control the length of generated responses, we propose the Target Length Generation Task (TLG) and design two metrics, Precise Match (PM) and Flexible Match (FM) to evaluate the model's performance in adhering to specified response lengths. Furthermore, we introduce a novel, model-agnostic approach called Ruler, which employs Meta Length Tokens (MLTs) to enhance the instruction-following ability of large language models under length-constrained instructions. Specifically, Ruler equips LLMs with the ability to generate responses of a specified length based on length constraints within the instructions. Moreover, Ruler can automatically generate appropriate MLT when length constraints are not explicitly provided, demonstrating excellent versatility and generalization. Comprehensive experiments show the effectiveness of Ruler across different LLMs on Target Length Generation Task, e.g., at All Level 27.97 average gain on PM, 29.57 average gain on FM. In addition, we conduct extensive ablation experiments to further substantiate the efficacy and generalization of Ruler. Our code and data is available at https://github.com/Geaming2002/Ruler.