DeAL: Decodierungszeit-Ausrichtung für große Sprachmodelle

Zusammenfassung

Große Sprachmodelle (LLMs) werden heutzutage erwartet, Inhalte zu generieren, die mit menschlichen Präferenzen übereinstimmen. Aktuelle Arbeiten konzentrieren sich auf die Ausrichtung während des Modelltrainings durch Techniken wie Reinforcement Learning mit menschlichem Feedback (RLHF). Es ist jedoch unklar, ob solche Methoden eine effektive Wahl sind, um Ausrichtungsziele dem Modell beizubringen. Erstens sind die Unfähigkeit, mehrere, benutzerdefinierte Belohnungen zu integrieren, und die Abhängigkeit von der Sicht eines Modellentwicklers auf universelle und statische Prinzipien wesentliche Einschränkungen. Zweitens sind die verbleibenden Lücken im Modelltraining und die Zuverlässigkeit solcher Ansätze ebenfalls fraglich (z. B. Anfälligkeit für Jailbreaking auch nach Sicherheitstraining). Um diese Probleme zu adressieren, schlagen wir DeAL vor, ein Framework, das es dem Benutzer ermöglicht, Belohnungsfunktionen anzupassen und die Ausrichtung von LLMs zur Dekodierungszeit (DeAL) zu ermöglichen. Im Kern betrachten wir die Dekodierung als einen heuristisch geführten Suchprozess und erleichtern die Verwendung einer Vielzahl von Ausrichtungszielen. Unsere Experimente mit programmatischen Einschränkungen wie Schlüsselwort- und Längenbeschränkungen (die in der Vor-LLM-Ära weitgehend untersucht wurden) und abstrakten Zielen wie Schadlosigkeit und Hilfsbereitschaft (die in der Post-LLM-Ära vorgeschlagen wurden) zeigen, dass wir mit DeAL fein abgestimmte Kompromisse handhaben, die Einhaltung von Ausrichtungszielen verbessern und verbleibende Lücken in LLMs adressieren können. Schließlich, obwohl DeAL effektiv mit RLHF und Prompting-Techniken kombiniert werden kann, macht seine Allgemeingültigkeit die Dekodierung langsamer, eine Optimierung, die wir zukünftigen Arbeiten überlassen.

English

Large Language Models (LLMs) are nowadays expected to generate content aligned with human preferences. Current work focuses on alignment at model training time, through techniques such as Reinforcement Learning with Human Feedback (RLHF). However, it is unclear if such methods are an effective choice to teach alignment objectives to the model. First, the inability to incorporate multiple, custom rewards and reliance on a model developer's view of universal and static principles are key limitations. Second, the residual gaps in model training and the reliability of such approaches are also questionable (e.g. susceptibility to jail-breaking even after safety training). To address these, we propose DeAL, a framework that allows the user to customize reward functions and enables Decoding-time Alignment of LLMs (DeAL). At its core, we view decoding as a heuristic-guided search process and facilitate the use of a wide variety of alignment objectives. Our experiments with programmatic constraints such as keyword and length constraints (studied widely in the pre-LLM era) and abstract objectives such as harmlessness and helpfulness (proposed in the post-LLM era) show that we can DeAL with fine-grained trade-offs, improve adherence to alignment objectives, and address residual gaps in LLMs. Lastly, while DeAL can be effectively paired with RLHF and prompting techniques, its generality makes decoding slower, an optimization we leave for future work.

DeAL: Decodierungszeit-Ausrichtung für große Sprachmodelle

DeAL: Decoding-time Alignment for Large Language Models

Zusammenfassung

Support