Wikipedia in het tijdperk van LLM's: Evolutie en Risico's

Wikipedia in the Era of LLMs: Evolution and Risks

March 4, 2025

Auteurs: Siming Huang, Yuliang Xu, Mingmeng Geng, Yao Wan, Dongping Chen

cs.AI

Samenvatting

In dit artikel presenteren we een grondige analyse van de impact van Large Language Models (LLMs) op Wikipedia, waarbij we de evolutie van Wikipedia onderzoeken aan de hand van bestaande data en simulaties gebruiken om potentiële risico's te verkennen. We beginnen met het analyseren van paginaweergaven en artikelinhoud om recente veranderingen in Wikipedia te bestuderen en de impact van LLMs te beoordelen. Vervolgens evalueren we hoe LLMs verschillende Natural Language Processing (NLP)-taken beïnvloeden die gerelateerd zijn aan Wikipedia, waaronder machinaal vertalen en retrieval-augmented generation (RAG). Onze bevindingen en simulatieresultaten laten zien dat Wikipedia-artikelen beïnvloed zijn door LLMs, met een impact van ongeveer 1%-2% in bepaalde categorieën. Als de benchmark voor machinaal vertalen die op Wikipedia is gebaseerd, wordt beïnvloed door LLMs, kunnen de scores van de modellen worden opgeblazen en kunnen de vergelijkende resultaten tussen modellen verschuiven. Bovendien kan de effectiviteit van RAG afnemen als de kennisbasis vervuild raakt door door LLM gegenereerde inhoud. Hoewel LLMs de taal- en kennisstructuren van Wikipedia nog niet volledig hebben veranderd, geloven we dat onze empirische bevindingen de noodzaak aangeven om zorgvuldig na te denken over mogelijke toekomstige risico's.

English

In this paper, we present a thorough analysis of the impact of Large Language Models (LLMs) on Wikipedia, examining the evolution of Wikipedia through existing data and using simulations to explore potential risks. We begin by analyzing page views and article content to study Wikipedia's recent changes and assess the impact of LLMs. Subsequently, we evaluate how LLMs affect various Natural Language Processing (NLP) tasks related to Wikipedia, including machine translation and retrieval-augmented generation (RAG). Our findings and simulation results reveal that Wikipedia articles have been influenced by LLMs, with an impact of approximately 1%-2% in certain categories. If the machine translation benchmark based on Wikipedia is influenced by LLMs, the scores of the models may become inflated, and the comparative results among models might shift as well. Moreover, the effectiveness of RAG might decrease if the knowledge base becomes polluted by LLM-generated content. While LLMs have not yet fully changed Wikipedia's language and knowledge structures, we believe that our empirical findings signal the need for careful consideration of potential future risks.