De Taal van het Denken Beïnvloedt de Uitvoerdiversiteit in Grote Taalmodellen

Language of Thought Shapes Output Diversity in Large Language Models

January 16, 2026

Auteurs: Shaoyang Xu, Wenxuan Zhang

cs.AI

Samenvatting

Outputdiversiteit is cruciaal voor grote taalmodellen omdat het pluralisme en creativiteit ondersteunt. In dit werk tonen we aan dat het controleren van de taal die wordt gebruikt tijdens het denken van het model - de 'denktaal' - een nieuwe en structurele bron van outputdiversiteit biedt. Onze voorlopige studie toont aan dat verschillende denktalen afzonderlijke regio's innemen in de denkruimte van een model. Op basis van deze observatie bestuderen we twee herhaalde steekproefstrategieën onder meertalig denken: 'Enkele-Taal Steekproefname' en 'Gemengde-Taal Steekproefname', en voeren we diversiteitsevaluaties uit op outputs die gecontroleerd zijn om in het Engels te zijn, ongeacht de gebruikte denktaal. Uit uitgebreide experimenten blijkt dat het wisselen van de denktaal van Engels naar niet-Engelse talen consistent de outputdiversiteit verhoogt, met een duidelijke en consistente positieve correlatie waarbij talen die verder van het Engels af liggen in de denkruimte grotere winsten opleveren. We tonen verder aan dat het samenvoegen van steekproeven over meerdere denktalen extra verbeteringen oplevert door compositionele effecten, en dat het opschalen van steekproefname met linguïstische heterogeniteit de diversiteitslimiet van het model verruimt. Tot slot laten we zien dat deze bevindingen vertaald worden naar praktische voordelen in pluralistische afstemmingsscenario's, wat leidt tot een bredere dekking van culturele kennis en waarderichtingen in LLM-outputs. Onze code is openbaar beschikbaar op https://github.com/iNLP-Lab/Multilingual-LoT-Diversity.

English

Output diversity is crucial for Large Language Models as it underpins pluralism and creativity. In this work, we reveal that controlling the language used during model thinking-the language of thought-provides a novel and structural source of output diversity. Our preliminary study shows that different thinking languages occupy distinct regions in a model's thinking space. Based on this observation, we study two repeated sampling strategies under multilingual thinking-Single-Language Sampling and Mixed-Language Sampling-and conduct diversity evaluation on outputs that are controlled to be in English, regardless of the thinking language used. Across extensive experiments, we demonstrate that switching the thinking language from English to non-English languages consistently increases output diversity, with a clear and consistent positive correlation such that languages farther from English in the thinking space yield larger gains. We further show that aggregating samples across multiple thinking languages yields additional improvements through compositional effects, and that scaling sampling with linguistic heterogeneity expands the model's diversity ceiling. Finally, we show that these findings translate into practical benefits in pluralistic alignment scenarios, leading to broader coverage of cultural knowledge and value orientations in LLM outputs. Our code is publicly available at https://github.com/iNLP-Lab/Multilingual-LoT-Diversity.