Wikipedia à l'ère des LLM : Évolution et Risques

Wikipedia in the Era of LLMs: Evolution and Risks

March 4, 2025

Auteurs: Siming Huang, Yuliang Xu, Mingmeng Geng, Yao Wan, Dongping Chen

cs.AI

Résumé

Dans cet article, nous présentons une analyse approfondie de l'impact des modèles de langage à grande échelle (LLMs) sur Wikipédia, en examinant l'évolution de Wikipédia à travers des données existantes et en utilisant des simulations pour explorer les risques potentiels. Nous commençons par analyser les vues de pages et le contenu des articles pour étudier les changements récents de Wikipédia et évaluer l'impact des LLMs. Par la suite, nous évaluons comment les LLMs affectent diverses tâches de traitement du langage naturel (NLP) liées à Wikipédia, y compris la traduction automatique et la génération augmentée par récupération (RAG). Nos résultats et simulations révèlent que les articles de Wikipédia ont été influencés par les LLMs, avec un impact d'environ 1 % à 2 % dans certaines catégories. Si le benchmark de traduction automatique basé sur Wikipédia est influencé par les LLMs, les scores des modèles pourraient être surévalués, et les résultats comparatifs entre les modèles pourraient également évoluer. De plus, l'efficacité de la RAG pourrait diminuer si la base de connaissances est polluée par du contenu généré par des LLMs. Bien que les LLMs n'aient pas encore complètement modifié les structures linguistiques et de connaissances de Wikipédia, nous pensons que nos résultats empiriques signalent la nécessité d'une réflexion attentive sur les risques potentiels futurs.

English

In this paper, we present a thorough analysis of the impact of Large Language Models (LLMs) on Wikipedia, examining the evolution of Wikipedia through existing data and using simulations to explore potential risks. We begin by analyzing page views and article content to study Wikipedia's recent changes and assess the impact of LLMs. Subsequently, we evaluate how LLMs affect various Natural Language Processing (NLP) tasks related to Wikipedia, including machine translation and retrieval-augmented generation (RAG). Our findings and simulation results reveal that Wikipedia articles have been influenced by LLMs, with an impact of approximately 1%-2% in certain categories. If the machine translation benchmark based on Wikipedia is influenced by LLMs, the scores of the models may become inflated, and the comparative results among models might shift as well. Moreover, the effectiveness of RAG might decrease if the knowledge base becomes polluted by LLM-generated content. While LLMs have not yet fully changed Wikipedia's language and knowledge structures, we believe that our empirical findings signal the need for careful consideration of potential future risks.