Alignment Studio: Allineamento di Modelli Linguistici di Grandi Dimensioni a Regolamentazioni Contestuali Specifiche

Abstract

L'allineamento dei grandi modelli linguistici viene solitamente eseguito dai fornitori di modelli per aggiungere o controllare comportamenti che sono comuni o universalmente compresi in diversi casi d'uso e contesti. Al contrario, in questo articolo, presentiamo un approccio e un'architettura che consentono agli sviluppatori di applicazioni di adattare un modello ai loro valori specifici, norme sociali, leggi e altre regolamentazioni, e di orchestrare tra requisiti potenzialmente conflittuali in base al contesto. Descriviamo tre componenti principali di tale architettura denominata Alignment Studio: Framers, Instructors e Auditors, che lavorano in sinergia per controllare il comportamento di un modello linguistico. Illustriamo questo approccio con un esempio pratico di allineamento di un chatbot aziendale interno alle linee guida di condotta aziendale.

English

The alignment of large language models is usually done by model providers to add or control behaviors that are common or universally understood across use cases and contexts. In contrast, in this article, we present an approach and architecture that empowers application developers to tune a model to their particular values, social norms, laws and other regulations, and orchestrate between potentially conflicting requirements in context. We lay out three main components of such an Alignment Studio architecture: Framers, Instructors, and Auditors that work in concert to control the behavior of a language model. We illustrate this approach with a running example of aligning a company's internal-facing enterprise chatbot to its business conduct guidelines.

Alignment Studio: Allineamento di Modelli Linguistici di Grandi Dimensioni a Regolamentazioni Contestuali Specifiche

Alignment Studio: Aligning Large Language Models to Particular Contextual Regulations

Abstract

Support