Optimalisatie van Diversiteit en Kwaliteit door Basis-Gelijnde Modelcollaboratie

Optimizing Diversity and Quality through Base-Aligned Model Collaboration

November 7, 2025

Auteurs: Yichen Wang, Chenghao Yang, Tenghao Huang, Muhao Chen, Jonathan May, Mina Lee

cs.AI

Samenvatting

Alignment heeft de uitvoerkwaliteit van grote taalmodellen (LLM's) aanzienlijk verbeterd, maar ten koste van de diversiteit, wat leidt tot sterk gelijkende uitvoer bij opeenvolgende generaties. Wij stellen Base-Aligned Model Collaboration (BACo) voor, een raamwerk voor modelcollaboratie op tokenniveau tijdens de inferentie, dat dynamisch een basis-LLM combineert met zijn gealigneerde tegenhanger om diversiteit en kwaliteit te optimaliseren. Geïnspireerd door eerder werk (Fei et al., 2025) gebruikt BACo routeringsstrategieën die bij elke token bepalen van welk model moet worden gedecodeerd, op basis van de onzekerheid van de volgende-tokenvoorspelling en de semantische rol van de voorspelde inhoud. Eerdere methoden om diversiteit te bevorderen, zoals hertraining, promptengineering en multi-samplingmethoden, verbeteren de diversiteit, maar gaan vaak ten koste van de kwaliteit of vereisen kostbare decoding of post-training. BACo daarentegen bereikt zowel hoge diversiteit als kwaliteit achteraf in één enkele doorloop, en biedt tegelijkertijd sterke beheerbaarheid. Wij onderzoeken een familie van routeringsstrategieën. Over drie open-eindgeneratietaken en 13 metrieken voor diversiteit en kwaliteit heen, overtreft BACo consistent state-of-the-art inferentie-baselines. Met onze beste router bereikt BACo een gezamenlijke verbetering van 21,3% in diversiteit en kwaliteit. Menselijke evaluaties reflecteren eveneens deze verbeteringen. De resultaten suggereren dat samenwerking tussen basis- en gealigneerde modellen diversiteit en kwaliteit kan optimaliseren en beheersen.

English

Alignment has greatly improved large language models (LLMs)' output quality at the cost of diversity, yielding highly similar outputs across generations. We propose Base-Aligned Model Collaboration (BACo), an inference-time token-level model collaboration framework that dynamically combines a base LLM with its aligned counterpart to optimize diversity and quality. Inspired by prior work (Fei et al., 2025), BACo employs routing strategies that determine, at each token, from which model to decode based on next-token prediction uncertainty and predicted contents' semantic role. Prior diversity-promoting methods, such as retraining, prompt engineering, and multi-sampling methods, improve diversity but often degrade quality or require costly decoding or post-training. In contrast, BACo achieves both high diversity and quality post hoc within a single pass, while offering strong controllability. We explore a family of routing strategies, across three open-ended generation tasks and 13 metrics covering diversity and quality, BACo consistently surpasses state-of-the-art inference-time baselines. With our best router, BACo achieves a 21.3% joint improvement in diversity and quality. Human evaluations also mirror these improvements. The results suggest that collaboration between base and aligned models can optimize and control diversity and quality.