Alignment Studio: 大規模言語モデルを特定の文脈的規制に適合させる

Alignment Studio: Aligning Large Language Models to Particular Contextual Regulations

March 8, 2024

著者: Swapnaja Achintalwar, Ioana Baldini, Djallel Bouneffouf, Joan Byamugisha, Maria Chang, Pierre Dognin, Eitan Farchi, Ndivhuwo Makondo, Aleksandra Mojsilovic, Manish Nagireddy, Karthikeyan Natesan Ramamurthy, Inkit Padhi, Orna Raz, Jesus Rios, Prasanna Sattigeri, Moninder Singh, Siphiwe Thwala, Rosario A. Uceda-Sosa, Kush R. Varshney

cs.AI

要旨

大規模言語モデルのアライメントは通常、モデル提供者によって行われ、ユースケースや文脈を超えて一般的または普遍的に理解される振る舞いを追加または制御することを目的としています。これに対して、本記事では、アプリケーション開発者が特定の価値観、社会的規範、法律やその他の規制に合わせてモデルを調整し、文脈内で潜在的に矛盾する要件を調整することを可能にするアプローチとアーキテクチャを提案します。このアライメントスタジオアーキテクチャの主要な3つのコンポーネント、すなわちFramer、Instructor、Auditorを紹介し、これらが連携して言語モデルの振る舞いを制御する仕組みを説明します。このアプローチを、企業の内部向けエンタープライズチャットボットをそのビジネス行動ガイドラインに合わせて調整する例を通じて具体的に示します。

English

The alignment of large language models is usually done by model providers to add or control behaviors that are common or universally understood across use cases and contexts. In contrast, in this article, we present an approach and architecture that empowers application developers to tune a model to their particular values, social norms, laws and other regulations, and orchestrate between potentially conflicting requirements in context. We lay out three main components of such an Alignment Studio architecture: Framers, Instructors, and Auditors that work in concert to control the behavior of a language model. We illustrate this approach with a running example of aligning a company's internal-facing enterprise chatbot to its business conduct guidelines.