A Wikipédia na Era dos LLMs: Evolução e Riscos

Wikipedia in the Era of LLMs: Evolution and Risks

March 4, 2025

Autores: Siming Huang, Yuliang Xu, Mingmeng Geng, Yao Wan, Dongping Chen

cs.AI

Resumo

Neste artigo, apresentamos uma análise detalhada do impacto dos Modelos de Linguagem de Grande Escala (LLMs) na Wikipedia, examinando a evolução da Wikipedia por meio de dados existentes e utilizando simulações para explorar riscos potenciais. Começamos analisando visualizações de páginas e conteúdo de artigos para estudar as mudanças recentes na Wikipedia e avaliar o impacto dos LLMs. Em seguida, avaliamos como os LLMs afetam diversas tarefas de Processamento de Linguagem Natural (NLP) relacionadas à Wikipedia, incluindo tradução automática e geração aumentada por recuperação (RAG). Nossos resultados e simulações revelam que os artigos da Wikipedia foram influenciados pelos LLMs, com um impacto de aproximadamente 1%-2% em certas categorias. Se o benchmark de tradução automática baseado na Wikipedia for influenciado pelos LLMs, as pontuações dos modelos podem se tornar infladas, e os resultados comparativos entre os modelos podem mudar. Além disso, a eficácia do RAG pode diminuir se a base de conhecimento for contaminada por conteúdo gerado por LLMs. Embora os LLMs ainda não tenham alterado completamente as estruturas de linguagem e conhecimento da Wikipedia, acreditamos que nossas descobertas empíricas sinalizam a necessidade de uma consideração cuidadosa dos riscos potenciais futuros.

English

In this paper, we present a thorough analysis of the impact of Large Language Models (LLMs) on Wikipedia, examining the evolution of Wikipedia through existing data and using simulations to explore potential risks. We begin by analyzing page views and article content to study Wikipedia's recent changes and assess the impact of LLMs. Subsequently, we evaluate how LLMs affect various Natural Language Processing (NLP) tasks related to Wikipedia, including machine translation and retrieval-augmented generation (RAG). Our findings and simulation results reveal that Wikipedia articles have been influenced by LLMs, with an impact of approximately 1%-2% in certain categories. If the machine translation benchmark based on Wikipedia is influenced by LLMs, the scores of the models may become inflated, and the comparative results among models might shift as well. Moreover, the effectiveness of RAG might decrease if the knowledge base becomes polluted by LLM-generated content. While LLMs have not yet fully changed Wikipedia's language and knowledge structures, we believe that our empirical findings signal the need for careful consideration of potential future risks.