Diversità Epistemica e Collasso della Conoscenza nei Modelli Linguistici di Grande Scala

Abstract

I grandi modelli linguistici (LLM) tendono a generare testi lessicalmente, semanticamente e stilisticamente omogenei. Ciò comporta il rischio di un collasso della conoscenza, in cui LLM omogenei mediano una riduzione della gamma di informazioni accessibili nel tempo. I lavori esistenti sull'omogeneizzazione sono limitati da un focus su configurazioni a scelta multipla a risposta chiusa o su caratteristiche semantiche vaghe, e non esaminano le tendenze nel tempo e nei contesti culturali. Per superare questo limite, presentiamo una nuova metodologia per misurare la diversità epistemica, ovvero la variazione nelle affermazioni sul mondo reale negli output degli LLM, che utilizziamo per condurre un ampio studio empirico sul collasso della conoscenza negli LLM. Testiamo 27 LLM, 155 argomenti che coprono 12 paesi e 200 variazioni di prompt provenienti da chat reali degli utenti. Per gli argomenti del nostro studio, dimostriamo che, sebbene i modelli più recenti tendano a generare affermazioni più diverse, quasi tutti i modelli sono meno diversificati epistemicamente rispetto a una semplice ricerca sul web. Troviamo che la dimensione del modello ha un impatto negativo sulla diversità epistemica, mentre la generazione aumentata dal recupero (RAG) ha un impatto positivo, sebbene il miglioramento dovuto alla RAG vari in base al contesto culturale. Infine, rispetto a una fonte di conoscenza tradizionale (Wikipedia), scopriamo che le affermazioni specifiche per paese riflettono più la lingua inglese che quella locale, evidenziando una lacuna nella rappresentazione epistemica.

English

Large language models (LLMs) tend to generate lexically, semantically, and stylistically homogenous texts. This poses a risk of knowledge collapse, where homogenous LLMs mediate a shrinking in the range of accessible information over time. Existing works on homogenization are limited by a focus on closed-ended multiple-choice setups or fuzzy semantic features, and do not look at trends across time and cultural contexts. To overcome this, we present a new methodology to measure epistemic diversity, i.e., variation in real-world claims in LLM outputs, which we use to perform a broad empirical study of LLM knowledge collapse. We test 27 LLMs, 155 topics covering 12 countries, and 200 prompt variations sourced from real user chats. For the topics in our study, we show that while newer models tend to generate more diverse claims, nearly all models are less epistemically diverse than a basic web search. We find that model size has a negative impact on epistemic diversity, while retrieval-augmented generation (RAG) has a positive impact, though the improvement from RAG varies by the cultural context. Finally, compared to a traditional knowledge source (Wikipedia), we find that country-specific claims reflect the English language more than the local one, highlighting a gap in epistemic representation

Diversità Epistemica e Collasso della Conoscenza nei Modelli Linguistici di Grande Scala

Epistemic Diversity and Knowledge Collapse in Large Language Models

Abstract

Support