La langue de la pensée façonne la diversité des sorties dans les grands modèles de langage
Language of Thought Shapes Output Diversity in Large Language Models
January 16, 2026
papers.authors: Shaoyang Xu, Wenxuan Zhang
cs.AI
papers.abstract
La diversité des sorties est cruciale pour les grands modèles de langage, car elle sous-tend le pluralisme et la créativité. Dans ce travail, nous montrons que contrôler la langue utilisée pendant la réflexion du modèle – le langage de la pensée – constitue une source nouvelle et structurelle de diversité des sorties. Notre étude préliminaire révèle que différents langages de pensée occupent des régions distinctes dans l'espace de réflexion d'un modèle. Sur la base de cette observation, nous étudions deux stratégies d'échantillonnage répété dans le cadre d'une pensée multilingue – l'Échantillonnage en Langue Unique et l'Échantillonnage en Langues Mixtes – et évaluons la diversité des sorties qui sont contrôlées pour être en anglais, indépendamment du langage de pensée utilisé. À travers de nombreuses expériences, nous démontrons que le fait de passer du anglais à des langues non-anglaises comme langage de pensée augmente systématiquement la diversité des sorties, avec une corrélation positive nette et constante : les langues plus éloignées de l'anglais dans l'espace de pensée produisent des gains plus importants. Nous montrons en outre qu'agréger des échantillons provenant de multiples langages de pensée produit des améliorations supplémentaires via des effets de composition, et qu'augmenter l'échantillonnage avec de l'hétérogénéité linguistique repousse la limite de diversité du modèle. Enfin, nous montrons que ces résultats se traduisent par des avantages pratiques dans des scénarios d'alignement pluraliste, conduisant à une couverture plus large des connaissances culturelles et des orientations de valeurs dans les sorties des LLM. Notre code est disponible publiquement à l'adresse https://github.com/iNLP-Lab/Multilingual-LoT-Diversity.
English
Output diversity is crucial for Large Language Models as it underpins pluralism and creativity. In this work, we reveal that controlling the language used during model thinking-the language of thought-provides a novel and structural source of output diversity. Our preliminary study shows that different thinking languages occupy distinct regions in a model's thinking space. Based on this observation, we study two repeated sampling strategies under multilingual thinking-Single-Language Sampling and Mixed-Language Sampling-and conduct diversity evaluation on outputs that are controlled to be in English, regardless of the thinking language used. Across extensive experiments, we demonstrate that switching the thinking language from English to non-English languages consistently increases output diversity, with a clear and consistent positive correlation such that languages farther from English in the thinking space yield larger gains. We further show that aggregating samples across multiple thinking languages yields additional improvements through compositional effects, and that scaling sampling with linguistic heterogeneity expands the model's diversity ceiling. Finally, we show that these findings translate into practical benefits in pluralistic alignment scenarios, leading to broader coverage of cultural knowledge and value orientations in LLM outputs. Our code is publicly available at https://github.com/iNLP-Lab/Multilingual-LoT-Diversity.