Leren om samen te decoderen met meerdere taalmodellen

Learning to Decode Collaboratively with Multiple Language Models

March 6, 2024

Auteurs: Shannon Zejiang Shen, Hunter Lang, Bailin Wang, Yoon Kim, David Sontag

cs.AI

Samenvatting

We stellen een methode voor om meerdere grote taalmodellen (LLM's) te leren samenwerken door hun generaties op tokenniveau te verweven. We modelleren de beslissing welk LLM de volgende token genereert als een latente variabele. Door de marginale waarschijnlijkheid van een trainingsset onder ons latente variabelenmodel te optimaliseren, leert het basis-LLM automatisch wanneer het zelf moet genereren en wanneer het een van de "assistent"-taalmodellen moet aanroepen om te genereren, allemaal zonder directe supervisie. Token-level samenwerking tijdens het decoderen maakt een fusie mogelijk van de expertise van elk model, afgestemd op de specifieke taak. Onze collaboratieve decodering is vooral nuttig in cross-domein settings waar een generalistisch basis-LLM leert om domeinexpertmodellen aan te roepen. Op instructievolgende, domeinspecifieke QA- en redeneertaken laten we zien dat de prestaties van het gezamenlijke systeem die van de individuele modellen overtreffen. Door kwalitatieve analyse van de geleerde latente beslissingen tonen we aan dat modellen die met onze methode zijn getraind, verschillende interessante samenwerkingspatronen vertonen, zoals het invullen van sjablonen. Onze code is beschikbaar op https://github.com/clinicalml/co-llm.

English

We propose a method to teach multiple large language models (LLM) to collaborate by interleaving their generations at the token level. We model the decision of which LLM generates the next token as a latent variable. By optimizing the marginal likelihood of a training set under our latent variable model, the base LLM automatically learns when to generate itself and when to call on one of the ``assistant'' language models to generate, all without direct supervision. Token-level collaboration during decoding allows for a fusion of each model's expertise in a manner tailored to the specific task at hand. Our collaborative decoding is especially useful in cross-domain settings where a generalist base LLM learns to invoke domain expert models. On instruction-following, domain-specific QA, and reasoning tasks, we show that the performance of the joint system exceeds that of the individual models. Through qualitative analysis of the learned latent decisions, we show models trained with our method exhibit several interesting collaboration patterns, e.g., template-filling. Our code is available at https://github.com/clinicalml/co-llm.