WikiAutoGen: Rumo à Geração de Artigos em Estilo Wikipédia Multimodal

WikiAutoGen: Towards Multi-Modal Wikipedia-Style Article Generation

March 24, 2025

Autores: Zhongyu Yang, Jun Chen, Dannong Xu, Junjie Fei, Xiaoqian Shen, Liangbing Zhao, Chun-Mei Feng, Mohamed Elhoseiny

cs.AI

Resumo

A descoberta e coleta de conhecimento são tarefas intensivas em inteligência que tradicionalmente exigem um esforço humano significativo para garantir resultados de alta qualidade. Pesquisas recentes exploraram frameworks multiagente para automatizar a geração de artigos no estilo da Wikipedia, recuperando e sintetizando informações da internet. No entanto, esses métodos focam principalmente na geração apenas de texto, negligenciando a importância do conteúdo multimodal para aumentar a informatividade e o engajamento. Neste trabalho, apresentamos o WikiAutoGen, um sistema inovador para a geração automatizada de artigos no estilo da Wikipedia com conteúdo multimodal. Diferente de abordagens anteriores, o WikiAutoGen recupera e integra imagens relevantes junto ao texto, enriquecendo tanto a profundidade quanto o apelo visual do conteúdo gerado. Para melhorar ainda mais a precisão factual e a abrangência, propomos um mecanismo de autorreflexão multiperspectiva, que avalia criticamente o conteúdo recuperado sob diversos pontos de vista para aprimorar confiabilidade, amplitude e coerência, entre outros aspectos. Além disso, introduzimos o WikiSeek, um benchmark composto por artigos da Wikipedia com tópicos associados a representações textuais e baseadas em imagens, projetado para avaliar a geração de conhecimento multimodal em tópicos mais desafiadores. Resultados experimentais mostram que o WikiAutoGen supera métodos anteriores em 8%-29% em nosso benchmark WikiSeek, produzindo artigos no estilo da Wikipedia mais precisos, coerentes e visualmente enriquecidos. Mostramos alguns de nossos exemplos gerados em https://wikiautogen.github.io/.

English

Knowledge discovery and collection are intelligence-intensive tasks that traditionally require significant human effort to ensure high-quality outputs. Recent research has explored multi-agent frameworks for automating Wikipedia-style article generation by retrieving and synthesizing information from the internet. However, these methods primarily focus on text-only generation, overlooking the importance of multimodal content in enhancing informativeness and engagement. In this work, we introduce WikiAutoGen, a novel system for automated multimodal Wikipedia-style article generation. Unlike prior approaches, WikiAutoGen retrieves and integrates relevant images alongside text, enriching both the depth and visual appeal of generated content. To further improve factual accuracy and comprehensiveness, we propose a multi-perspective self-reflection mechanism, which critically assesses retrieved content from diverse viewpoints to enhance reliability, breadth, and coherence, etc. Additionally, we introduce WikiSeek, a benchmark comprising Wikipedia articles with topics paired with both textual and image-based representations, designed to evaluate multimodal knowledge generation on more challenging topics. Experimental results show that WikiAutoGen outperforms previous methods by 8%-29% on our WikiSeek benchmark, producing more accurate, coherent, and visually enriched Wikipedia-style articles. We show some of our generated examples in https://wikiautogen.github.io/ .