Epistemische Vielfalt und Wissenskollaps in großen Sprachmodellen

papers.abstract

Große Sprachmodelle (LLMs) neigen dazu, lexikalisch, semantisch und stilistisch homogene Texte zu erzeugen. Dies birgt das Risiko eines Wissenskollapses, bei dem homogene LLMs im Laufe der Zeit eine Verringerung der Bandbreite zugänglicher Informationen bewirken. Bisherige Arbeiten zur Homogenisierung sind dadurch begrenzt, dass sie sich auf geschlossene Multiple-Choice-Setups oder unscharfe semantische Merkmale konzentrieren und keine Trends über Zeit und kulturelle Kontexte hinweg betrachten. Um dies zu überwinden, stellen wir eine neue Methodik zur Messung der epistemischen Vielfalt vor, d.h. der Variation realer Behauptungen in den Ausgaben von LLMs, die wir für eine umfassende empirische Studie zum Wissenskollaps bei LLMs verwenden. Wir testen 27 LLMs, 155 Themen aus 12 Ländern und 200 Prompt-Variationen, die aus realen Nutzerchats stammen. Für die Themen unserer Studie zeigen wir, dass neuere Modelle zwar tendenziell vielfältigere Behauptungen generieren, fast alle Modelle jedoch weniger epistemisch vielfältig sind als eine einfache Websuche. Wir stellen fest, dass die Modellgröße einen negativen Einfluss auf die epistemische Vielfalt hat, während retrieval-augmentierte Generierung (RAG) einen positiven Einfluss hat, obwohl die Verbesserung durch RAG je nach kulturellem Kontext variiert. Schließlich stellen wir im Vergleich zu einer traditionellen Wissensquelle (Wikipedia) fest, dass länderspezifische Behauptungen die englische Sprache stärker widerspiegeln als die lokale, was eine Lücke in der epistemischen Repräsentation aufzeigt.

English

Large language models (LLMs) tend to generate lexically, semantically, and stylistically homogenous texts. This poses a risk of knowledge collapse, where homogenous LLMs mediate a shrinking in the range of accessible information over time. Existing works on homogenization are limited by a focus on closed-ended multiple-choice setups or fuzzy semantic features, and do not look at trends across time and cultural contexts. To overcome this, we present a new methodology to measure epistemic diversity, i.e., variation in real-world claims in LLM outputs, which we use to perform a broad empirical study of LLM knowledge collapse. We test 27 LLMs, 155 topics covering 12 countries, and 200 prompt variations sourced from real user chats. For the topics in our study, we show that while newer models tend to generate more diverse claims, nearly all models are less epistemically diverse than a basic web search. We find that model size has a negative impact on epistemic diversity, while retrieval-augmented generation (RAG) has a positive impact, though the improvement from RAG varies by the cultural context. Finally, compared to a traditional knowledge source (Wikipedia), we find that country-specific claims reflect the English language more than the local one, highlighting a gap in epistemic representation

Epistemische Vielfalt und Wissenskollaps in großen Sprachmodellen

Epistemic Diversity and Knowledge Collapse in Large Language Models

papers.abstract

Support