Epistemische Diversiteit en Kennisimplosie in Grote Taalmodellen

Samenvatting

Grote taalmodellen (LLMs) hebben de neiging om lexicaal, semantisch en stilistisch homogene teksten te genereren. Dit brengt het risico van kennisverval met zich mee, waarbij homogene LLMs een inkrimping van het bereik van toegankelijke informatie over tijd veroorzaken. Bestaande werken over homogenisatie zijn beperkt door een focus op gesloten meerkeuzeopstellingen of vage semantische kenmerken, en kijken niet naar trends over tijd en culturele contexten. Om dit te overwinnen, presenteren we een nieuwe methodologie om epistemische diversiteit te meten, d.w.z. variatie in beweringen over de echte wereld in LLM-outputs, die we gebruiken om een breed empirisch onderzoek uit te voeren naar kennisverval in LLMs. We testen 27 LLMs, 155 onderwerpen die 12 landen bestrijken, en 200 promptvariaties afkomstig uit echte gebruikerschats. Voor de onderwerpen in ons onderzoek tonen we aan dat, hoewel nieuwere modellen de neiging hebben om meer diverse beweringen te genereren, bijna alle modellen minder epistemisch divers zijn dan een eenvoudige webzoekopdracht. We constateren dat de grootte van het model een negatieve invloed heeft op epistemische diversiteit, terwijl retrieval-augmented generation (RAG) een positieve invloed heeft, hoewel de verbetering door RAG varieert per culturele context. Ten slotte, in vergelijking met een traditionele kennisbron (Wikipedia), vinden we dat land-specifieke beweringen het Engels meer weerspiegelen dan de lokale taal, wat een kloof in epistemische representatie benadrukt.

English

Large language models (LLMs) tend to generate lexically, semantically, and stylistically homogenous texts. This poses a risk of knowledge collapse, where homogenous LLMs mediate a shrinking in the range of accessible information over time. Existing works on homogenization are limited by a focus on closed-ended multiple-choice setups or fuzzy semantic features, and do not look at trends across time and cultural contexts. To overcome this, we present a new methodology to measure epistemic diversity, i.e., variation in real-world claims in LLM outputs, which we use to perform a broad empirical study of LLM knowledge collapse. We test 27 LLMs, 155 topics covering 12 countries, and 200 prompt variations sourced from real user chats. For the topics in our study, we show that while newer models tend to generate more diverse claims, nearly all models are less epistemically diverse than a basic web search. We find that model size has a negative impact on epistemic diversity, while retrieval-augmented generation (RAG) has a positive impact, though the improvement from RAG varies by the cultural context. Finally, compared to a traditional knowledge source (Wikipedia), we find that country-specific claims reflect the English language more than the local one, highlighting a gap in epistemic representation

Epistemische Diversiteit en Kennisimplosie in Grote Taalmodellen

Epistemic Diversity and Knowledge Collapse in Large Language Models

Samenvatting

Support