Die Sprache des Denkens beeinflusst die Ausgabevielfalt in großen Sprachmodellen
Language of Thought Shapes Output Diversity in Large Language Models
January 16, 2026
papers.authors: Shaoyang Xu, Wenxuan Zhang
cs.AI
papers.abstract
Die Diversität der Ausgabe ist für große Sprachmodelle von entscheidender Bedeutung, da sie Pluralismus und Kreativität fördert. In dieser Arbeit zeigen wir, dass die Kontrolle der während des Denkprozesses des Modells verwendeten Sprache – der Sprache des Denkens – eine neuartige und strukturelle Quelle für Ausgabediversität darstellt. Unsere Vorstudie zeigt, dass verschiedene Denksprachen unterschiedliche Regionen im Denkraum eines Modells einnehmen. Aufbauend auf dieser Beobachtung untersuchen wir zwei wiederholte Sampling-Strategien unter mehrsprachigem Denken – Einzelsprach-Sampling und Gemischtsprach-Sampling – und führen Diversitätsbewertungen an Ausgaben durch, die kontrolliert auf Englisch erfolgen, unabhängig von der verwendeten Denksprache. In umfangreichen Experimenten zeigen wir, dass das Wechseln der Denksprache von Englisch zu nicht-englischen Sprachen die Ausgabediversität konsistent steigert, mit einer klaren und konsistenten positiven Korrelation, sodass Sprachen, die im Denkraum weiter von Englisch entfernt sind, größere Steigerungen erzielen. Wir zeigen weiter, dass die Aggregation von Samples über mehrere Denksprachen hinweg durch kompositionelle Effekte zusätzliche Verbesserungen bringt, und dass die Skalierung des Samplings mit linguistischer Heterogenität die Diversitätsgrenze des Modells erweitert. Abschließend zeigen wir, dass diese Erkenntnisse praktische Vorteile in pluralistischen Abgleichsszenarien bieten, was zu einer breiteren Abdeckung von kulturellem Wissen und Wertorientierungen in LLM-Ausgaben führt. Unser Code ist öffentlich verfügbar unter https://github.com/iNLP-Lab/Multilingual-LoT-Diversity.
English
Output diversity is crucial for Large Language Models as it underpins pluralism and creativity. In this work, we reveal that controlling the language used during model thinking-the language of thought-provides a novel and structural source of output diversity. Our preliminary study shows that different thinking languages occupy distinct regions in a model's thinking space. Based on this observation, we study two repeated sampling strategies under multilingual thinking-Single-Language Sampling and Mixed-Language Sampling-and conduct diversity evaluation on outputs that are controlled to be in English, regardless of the thinking language used. Across extensive experiments, we demonstrate that switching the thinking language from English to non-English languages consistently increases output diversity, with a clear and consistent positive correlation such that languages farther from English in the thinking space yield larger gains. We further show that aggregating samples across multiple thinking languages yields additional improvements through compositional effects, and that scaling sampling with linguistic heterogeneity expands the model's diversity ceiling. Finally, we show that these findings translate into practical benefits in pluralistic alignment scenarios, leading to broader coverage of cultural knowledge and value orientations in LLM outputs. Our code is publicly available at https://github.com/iNLP-Lab/Multilingual-LoT-Diversity.