Alignment Studio : Alignement des grands modèles de langage à des régulations contextuelles spécifiques

Alignment Studio: Aligning Large Language Models to Particular Contextual Regulations

March 8, 2024

Auteurs: Swapnaja Achintalwar, Ioana Baldini, Djallel Bouneffouf, Joan Byamugisha, Maria Chang, Pierre Dognin, Eitan Farchi, Ndivhuwo Makondo, Aleksandra Mojsilovic, Manish Nagireddy, Karthikeyan Natesan Ramamurthy, Inkit Padhi, Orna Raz, Jesus Rios, Prasanna Sattigeri, Moninder Singh, Siphiwe Thwala, Rosario A. Uceda-Sosa, Kush R. Varshney

cs.AI

Résumé

L'alignement des grands modèles de langage est généralement effectué par les fournisseurs de modèles pour ajouter ou contrôler des comportements qui sont communs ou universellement compris à travers les cas d'utilisation et les contextes. En revanche, dans cet article, nous présentons une approche et une architecture qui permettent aux développeurs d'applications d'ajuster un modèle à leurs valeurs particulières, normes sociales, lois et autres réglementations, et d'orchestrer entre des exigences potentiellement conflictuelles en contexte. Nous décrivons trois composants principaux d'une telle architecture de Studio d'Alignement : les Cadreurs, les Instructeurs et les Auditeurs, qui travaillent de concert pour contrôler le comportement d'un modèle de langage. Nous illustrons cette approche avec un exemple continu d'alignement d'un chatbot interne d'entreprise aux directives de conduite commerciale de l'entreprise.

English

The alignment of large language models is usually done by model providers to add or control behaviors that are common or universally understood across use cases and contexts. In contrast, in this article, we present an approach and architecture that empowers application developers to tune a model to their particular values, social norms, laws and other regulations, and orchestrate between potentially conflicting requirements in context. We lay out three main components of such an Alignment Studio architecture: Framers, Instructors, and Auditors that work in concert to control the behavior of a language model. We illustrate this approach with a running example of aligning a company's internal-facing enterprise chatbot to its business conduct guidelines.