Wikipedia im Zeitalter der LLMs: Evolution und Risiken

Wikipedia in the Era of LLMs: Evolution and Risks

March 4, 2025

Autoren: Siming Huang, Yuliang Xu, Mingmeng Geng, Yao Wan, Dongping Chen

cs.AI

Zusammenfassung

In diesem Artikel präsentieren wir eine umfassende Analyse der Auswirkungen von Large Language Models (LLMs) auf Wikipedia. Wir untersuchen die Entwicklung von Wikipedia anhand bestehender Daten und nutzen Simulationen, um potenzielle Risiken zu erforschen. Zunächst analysieren wir Seitenaufrufe und Artikelinhalte, um die jüngsten Veränderungen bei Wikipedia zu studieren und den Einfluss von LLMs zu bewerten. Anschließend evaluieren wir, wie LLMs verschiedene Natural Language Processing (NLP)-Aufgaben im Zusammenhang mit Wikipedia beeinflussen, einschließlich maschineller Übersetzung und retrieval-augmentierter Generierung (RAG). Unsere Ergebnisse und Simulationsdaten zeigen, dass Wikipedia-Artikel von LLMs beeinflusst wurden, wobei der Einfluss in bestimmten Kategorien etwa 1%-2% beträgt. Wenn der auf Wikipedia basierende Benchmark für maschinelle Übersetzung von LLMs beeinflusst wird, könnten die Bewertungen der Modelle überhöht werden und die Vergleichsergebnisse zwischen den Modellen sich verschieben. Darüber hinaus könnte die Effektivität von RAG abnehmen, wenn die Wissensbasis durch LLM-generierte Inhalte verunreinigt wird. Obwohl LLMs die Sprach- und Wissensstrukturen von Wikipedia noch nicht vollständig verändert haben, glauben wir, dass unsere empirischen Erkenntnisse die Notwendigkeit einer sorgfältigen Betrachtung potenzieller zukünftiger Risiken signalisieren.

English

In this paper, we present a thorough analysis of the impact of Large Language Models (LLMs) on Wikipedia, examining the evolution of Wikipedia through existing data and using simulations to explore potential risks. We begin by analyzing page views and article content to study Wikipedia's recent changes and assess the impact of LLMs. Subsequently, we evaluate how LLMs affect various Natural Language Processing (NLP) tasks related to Wikipedia, including machine translation and retrieval-augmented generation (RAG). Our findings and simulation results reveal that Wikipedia articles have been influenced by LLMs, with an impact of approximately 1%-2% in certain categories. If the machine translation benchmark based on Wikipedia is influenced by LLMs, the scores of the models may become inflated, and the comparative results among models might shift as well. Moreover, the effectiveness of RAG might decrease if the knowledge base becomes polluted by LLM-generated content. While LLMs have not yet fully changed Wikipedia's language and knowledge structures, we believe that our empirical findings signal the need for careful consideration of potential future risks.