Optimisation de la diversité et de la qualité par la collaboration de modèles alignés sur une base

Optimizing Diversity and Quality through Base-Aligned Model Collaboration

November 7, 2025

papers.authors: Yichen Wang, Chenghao Yang, Tenghao Huang, Muhao Chen, Jonathan May, Mina Lee

cs.AI

papers.abstract

L'alignement a grandement amélioré la qualité des sorties des grands modèles de langage (LLM) au détriment de la diversité, produisant des générations très similaires. Nous proposons Base-Aligned Model Collaboration (BACo), un cadre de collaboration entre modèles au niveau du token lors de l'inférence, qui combine dynamiquement un LLM de base avec sa version alignée pour optimiser diversité et qualité. S'inspirant de travaux antérieurs (Fei et al., 2025), BACo utilise des stratégies de routage qui déterminent, à chaque token, à partir de quel modèle décoder, en se basant sur l'incertitude de prédiction du token suivant et le rôle sémantique du contenu prédit. Les méthodes antérieures favorisant la diversité, comme le réentraînement, l'ingénierie de prompt et les méthodes d'échantillonnage multiple, améliorent la diversité mais dégradent souvent la qualité ou nécessitent un décodage ou un post-entraînement coûteux. En revanche, BACo atteint simultanément une haute diversité et une haute qualité a posteriori en une seule passe, tout en offrant une forte contrôlabilité. Nous explorons une famille de stratégies de routage. Sur trois tâches de génération ouverte et 13 métriques couvrant diversité et qualité, BACo surpasse constamment les meilleures méthodes de référence à l'inférence. Avec notre meilleur routeur, BACo réalise une amélioration conjointe de 21,3 % de la diversité et de la qualité. Les évaluations humaines reflètent également ces améliorations. Les résultats suggèrent que la collaboration entre modèles de base et alignés permet d'optimiser et de contrôler diversité et qualité.

English

Alignment has greatly improved large language models (LLMs)' output quality at the cost of diversity, yielding highly similar outputs across generations. We propose Base-Aligned Model Collaboration (BACo), an inference-time token-level model collaboration framework that dynamically combines a base LLM with its aligned counterpart to optimize diversity and quality. Inspired by prior work (Fei et al., 2025), BACo employs routing strategies that determine, at each token, from which model to decode based on next-token prediction uncertainty and predicted contents' semantic role. Prior diversity-promoting methods, such as retraining, prompt engineering, and multi-sampling methods, improve diversity but often degrade quality or require costly decoding or post-training. In contrast, BACo achieves both high diversity and quality post hoc within a single pass, while offering strong controllability. We explore a family of routing strategies, across three open-ended generation tasks and 13 metrics covering diversity and quality, BACo consistently surpasses state-of-the-art inference-time baselines. With our best router, BACo achieves a 21.3% joint improvement in diversity and quality. Human evaluations also mirror these improvements. The results suggest that collaboration between base and aligned models can optimize and control diversity and quality.