Optimierung von Diversität und Qualität durch basisabgestimmte Modellkooperation
Optimizing Diversity and Quality through Base-Aligned Model Collaboration
November 7, 2025
papers.authors: Yichen Wang, Chenghao Yang, Tenghao Huang, Muhao Chen, Jonathan May, Mina Lee
cs.AI
papers.abstract
Durch Alignment hat sich die Ausgabequalität großer Sprachmodelle (LLMs) erheblich verbessert, jedoch auf Kosten der Diversität, was zu sehr ähnlichen Ergebnissen über verschiedene Generierungen hinweg führt. Wir schlagen Base-Aligned Model Collaboration (BACo) vor, ein Framework zur Modellkollaboration auf Token-Ebene während der Inferenz, das ein Basis-LLM dynamisch mit seiner alignierten Version kombiniert, um Diversität und Qualität zu optimieren. Inspiriert durch frühere Arbeiten (Fei et al., 2025) setzt BACo Routing-Strategien ein, die für jedes Token entscheiden, von welchem Modell decodiert werden soll, basierend auf der Unsicherheit der nächsten Token-Vorhersage und der semantischen Rolle der vorhergesagten Inhalte. Bisherige Methoden zur Förderung der Diversität, wie Nachtraining, Prompt-Engineering und Multi-Sampling-Methoden, verbessern zwar die Diversität, führen aber oft zu Qualitätseinbußen oder erfordern aufwändiges Decoding oder Post-Training. Im Gegensatz dazu erreicht BACo sowohl hohe Diversität als auch Qualität nachträglich in einem einzigen Durchlauf und bietet dabei eine starke Steuerbarkeit. Wir untersuchen eine Familie von Routing-Strategien über drei offene Generierungsaufgaben und 13 Metriken hinweg, die Diversität und Qualität abdecken. BACo übertrifft dabei konsistent state-of-the-art Inferenzzeit-Baselines. Mit unserer besten Routing-Strategie erzielt BACo eine gemeinsame Verbesserung von 21,3 % bei Diversität und Qualität. Menschliche Evaluationen spiegeln diese Verbesserungen wider. Die Ergebnisse deuten darauf hin, dass die Kollaboration zwischen Basis- und alignierten Modellen Diversität und Qualität optimieren und steuern kann.
English
Alignment has greatly improved large language models (LLMs)' output quality at the cost of diversity, yielding highly similar outputs across generations. We propose Base-Aligned Model Collaboration (BACo), an inference-time token-level model collaboration framework that dynamically combines a base LLM with its aligned counterpart to optimize diversity and quality. Inspired by prior work (Fei et al., 2025), BACo employs routing strategies that determine, at each token, from which model to decode based on next-token prediction uncertainty and predicted contents' semantic role. Prior diversity-promoting methods, such as retraining, prompt engineering, and multi-sampling methods, improve diversity but often degrade quality or require costly decoding or post-training. In contrast, BACo achieves both high diversity and quality post hoc within a single pass, while offering strong controllability. We explore a family of routing strategies, across three open-ended generation tasks and 13 metrics covering diversity and quality, BACo consistently surpasses state-of-the-art inference-time baselines. With our best router, BACo achieves a 21.3% joint improvement in diversity and quality. Human evaluations also mirror these improvements. The results suggest that collaboration between base and aligned models can optimize and control diversity and quality.