Apprentissage de décodage collaboratif avec plusieurs modèles de langage

Learning to Decode Collaboratively with Multiple Language Models

March 6, 2024

Auteurs: Shannon Zejiang Shen, Hunter Lang, Bailin Wang, Yoon Kim, David Sontag

cs.AI

Résumé

Nous proposons une méthode pour enseigner à plusieurs grands modèles de langage (LLM) à collaborer en entrelaçant leurs générations au niveau des tokens. Nous modélisons la décision de savoir quel LLM génère le token suivant comme une variable latente. En optimisant la vraisemblance marginale d'un ensemble d'entraînement sous notre modèle à variable latente, le LLM de base apprend automatiquement quand générer lui-même et quand faire appel à l'un des modèles de langage « assistants » pour générer, le tout sans supervision directe. La collaboration au niveau des tokens pendant le décodage permet une fusion des expertises de chaque modèle, adaptée à la tâche spécifique en question. Notre décodage collaboratif est particulièrement utile dans des contextes inter-domaines où un LLM de base généraliste apprend à invoquer des modèles experts dans un domaine. Sur des tâches de suivi d'instructions, de questions-réponses spécifiques à un domaine et de raisonnement, nous montrons que les performances du système conjoint dépassent celles des modèles individuels. Grâce à une analyse qualitative des décisions latentes apprises, nous montrons que les modèles entraînés avec notre méthode présentent plusieurs schémas de collaboration intéressants, par exemple le remplissage de modèles. Notre code est disponible à l'adresse https://github.com/clinicalml/co-llm.

English

We propose a method to teach multiple large language models (LLM) to collaborate by interleaving their generations at the token level. We model the decision of which LLM generates the next token as a latent variable. By optimizing the marginal likelihood of a training set under our latent variable model, the base LLM automatically learns when to generate itself and when to call on one of the ``assistant'' language models to generate, all without direct supervision. Token-level collaboration during decoding allows for a fusion of each model's expertise in a manner tailored to the specific task at hand. Our collaborative decoding is especially useful in cross-domain settings where a generalist base LLM learns to invoke domain expert models. On instruction-following, domain-specific QA, and reasoning tasks, we show that the performance of the joint system exceeds that of the individual models. Through qualitative analysis of the learned latent decisions, we show models trained with our method exhibit several interesting collaboration patterns, e.g., template-filling. Our code is available at https://github.com/clinicalml/co-llm.