Студия выравнивания: выравнивание больших языковых моделей с конкретными контекстными регуляциями

Alignment Studio: Aligning Large Language Models to Particular Contextual Regulations

March 8, 2024

Авторы: Swapnaja Achintalwar, Ioana Baldini, Djallel Bouneffouf, Joan Byamugisha, Maria Chang, Pierre Dognin, Eitan Farchi, Ndivhuwo Makondo, Aleksandra Mojsilovic, Manish Nagireddy, Karthikeyan Natesan Ramamurthy, Inkit Padhi, Orna Raz, Jesus Rios, Prasanna Sattigeri, Moninder Singh, Siphiwe Thwala, Rosario A. Uceda-Sosa, Kush R. Varshney

cs.AI

Аннотация

Выравнивание больших языковых моделей обычно выполняется поставщиками моделей для добавления или управления поведением, которое является общим или универсально понятным в различных сценариях использования и контекстах. В отличие от этого, в данной статье мы представляем подход и архитектуру, которые позволяют разработчикам приложений настраивать модель под свои конкретные ценности, социальные нормы, законы и другие регулирования, а также управлять потенциально противоречивыми требованиями в контексте. Мы описываем три основных компонента такой архитектуры Alignment Studio: Формировщики, Инструкторы и Аудиторы, которые взаимодействуют для управления поведением языковой модели. Мы иллюстрируем этот подход на примере выравнивания внутреннего чатбота предприятия компании с ее руководящими принципами ведения бизнеса.

English

The alignment of large language models is usually done by model providers to add or control behaviors that are common or universally understood across use cases and contexts. In contrast, in this article, we present an approach and architecture that empowers application developers to tune a model to their particular values, social norms, laws and other regulations, and orchestrate between potentially conflicting requirements in context. We lay out three main components of such an Alignment Studio architecture: Framers, Instructors, and Auditors that work in concert to control the behavior of a language model. We illustrate this approach with a running example of aligning a company's internal-facing enterprise chatbot to its business conduct guidelines.