Estudio de Alineación: Ajuste de Modelos de Lenguaje de Gran Escala a Regulaciones Contextuales Específicas

Alignment Studio: Aligning Large Language Models to Particular Contextual Regulations

March 8, 2024

Autores: Swapnaja Achintalwar, Ioana Baldini, Djallel Bouneffouf, Joan Byamugisha, Maria Chang, Pierre Dognin, Eitan Farchi, Ndivhuwo Makondo, Aleksandra Mojsilovic, Manish Nagireddy, Karthikeyan Natesan Ramamurthy, Inkit Padhi, Orna Raz, Jesus Rios, Prasanna Sattigeri, Moninder Singh, Siphiwe Thwala, Rosario A. Uceda-Sosa, Kush R. Varshney

cs.AI

Resumen

La alineación de los modelos de lenguaje grandes generalmente la realizan los proveedores de modelos para agregar o controlar comportamientos que son comunes o universalmente comprendidos en diversos casos de uso y contextos. En contraste, en este artículo presentamos un enfoque y una arquitectura que permite a los desarrolladores de aplicaciones ajustar un modelo a sus valores particulares, normas sociales, leyes y otras regulaciones, y orquestar entre requisitos potencialmente conflictivos en contexto. Describimos tres componentes principales de dicha arquitectura de Estudio de Alineación: Enmarcadores, Instructores y Auditores, que trabajan en conjunto para controlar el comportamiento de un modelo de lenguaje. Ilustramos este enfoque con un ejemplo continuo de alineación de un chatbot empresarial interno de una compañía con sus pautas de conducta empresarial.

English

The alignment of large language models is usually done by model providers to add or control behaviors that are common or universally understood across use cases and contexts. In contrast, in this article, we present an approach and architecture that empowers application developers to tune a model to their particular values, social norms, laws and other regulations, and orchestrate between potentially conflicting requirements in context. We lay out three main components of such an Alignment Studio architecture: Framers, Instructors, and Auditors that work in concert to control the behavior of a language model. We illustrate this approach with a running example of aligning a company's internal-facing enterprise chatbot to its business conduct guidelines.