Alignment Studio: Ausrichtung großer Sprachmodelle auf spezifische kontextuelle Vorschriften

Alignment Studio: Aligning Large Language Models to Particular Contextual Regulations

March 8, 2024

Autoren: Swapnaja Achintalwar, Ioana Baldini, Djallel Bouneffouf, Joan Byamugisha, Maria Chang, Pierre Dognin, Eitan Farchi, Ndivhuwo Makondo, Aleksandra Mojsilovic, Manish Nagireddy, Karthikeyan Natesan Ramamurthy, Inkit Padhi, Orna Raz, Jesus Rios, Prasanna Sattigeri, Moninder Singh, Siphiwe Thwala, Rosario A. Uceda-Sosa, Kush R. Varshney

cs.AI

Zusammenfassung

Die Ausrichtung großer Sprachmodelle wird in der Regel von Modellanbietern durchgeführt, um Verhaltensweisen hinzuzufügen oder zu kontrollieren, die in verschiedenen Anwendungsfällen und Kontexten verbreitet oder allgemein verständlich sind. Im Gegensatz dazu präsentieren wir in diesem Artikel einen Ansatz und eine Architektur, die es Anwendungs­entwicklern ermöglichen, ein Modell an ihre spezifischen Werte, sozialen Normen, Gesetze und andere Vorschriften anzupassen und zwischen potenziell widersprüchlichen Anforderungen im Kontext zu orchestrieren. Wir stellen drei Hauptkomponenten einer solchen Alignment-Studio-Architektur vor: Rahmen­setzer, Instruktoren und Prüfer, die zusammenarbeiten, um das Verhalten eines Sprachmodells zu steuern. Wir veranschaulichen diesen Ansatz anhand eines laufenden Beispiels zur Ausrichtung eines unternehmensinternen Chatbots an die Verhaltensrichtlinien des Unternehmens.

English

The alignment of large language models is usually done by model providers to add or control behaviors that are common or universally understood across use cases and contexts. In contrast, in this article, we present an approach and architecture that empowers application developers to tune a model to their particular values, social norms, laws and other regulations, and orchestrate between potentially conflicting requirements in context. We lay out three main components of such an Alignment Studio architecture: Framers, Instructors, and Auditors that work in concert to control the behavior of a language model. We illustrate this approach with a running example of aligning a company's internal-facing enterprise chatbot to its business conduct guidelines.