Alignment Studio: Het Afstemmen van Grote Taalmodellen op Specifieke Contextuele Reguleringen
Alignment Studio: Aligning Large Language Models to Particular Contextual Regulations
March 8, 2024
Auteurs: Swapnaja Achintalwar, Ioana Baldini, Djallel Bouneffouf, Joan Byamugisha, Maria Chang, Pierre Dognin, Eitan Farchi, Ndivhuwo Makondo, Aleksandra Mojsilovic, Manish Nagireddy, Karthikeyan Natesan Ramamurthy, Inkit Padhi, Orna Raz, Jesus Rios, Prasanna Sattigeri, Moninder Singh, Siphiwe Thwala, Rosario A. Uceda-Sosa, Kush R. Varshney
cs.AI
Samenvatting
De afstemming van grote taalmodellen wordt meestal uitgevoerd door modelaanbieders om gedrag toe te voegen of te beheersen dat gebruikelijk of universeel begrepen is in verschillende use cases en contexten. Daarentegen presenteren we in dit artikel een aanpak en architectuur die applicatieontwikkelaars in staat stelt om een model af te stemmen op hun specifieke waarden, sociale normen, wetten en andere regelgeving, en om te schakelen tussen mogelijk conflicterende vereisten in context. We beschrijven drie hoofdcomponenten van zo'n Alignment Studio-architectuur: Framers, Instructors en Auditors, die samenwerken om het gedrag van een taalmodel te beheersen. We illustreren deze aanpak met een doorlopend voorbeeld van het afstemmen van een intern bedrijfschatbot op de richtlijnen voor bedrijfsgedrag van een onderneming.
English
The alignment of large language models is usually done by model providers to
add or control behaviors that are common or universally understood across use
cases and contexts. In contrast, in this article, we present an approach and
architecture that empowers application developers to tune a model to their
particular values, social norms, laws and other regulations, and orchestrate
between potentially conflicting requirements in context. We lay out three main
components of such an Alignment Studio architecture: Framers, Instructors, and
Auditors that work in concert to control the behavior of a language model. We
illustrate this approach with a running example of aligning a company's
internal-facing enterprise chatbot to its business conduct guidelines.