WikiAutoGen: Hacia la Generación de Artículos al Estilo Wikipedia con Enfoque Multimodal

WikiAutoGen: Towards Multi-Modal Wikipedia-Style Article Generation

March 24, 2025

Autores: Zhongyu Yang, Jun Chen, Dannong Xu, Junjie Fei, Xiaoqian Shen, Liangbing Zhao, Chun-Mei Feng, Mohamed Elhoseiny

cs.AI

Resumen

El descubrimiento y recopilación de conocimiento son tareas intensivas en inteligencia que tradicionalmente requieren un esfuerzo humano significativo para garantizar resultados de alta calidad. Investigaciones recientes han explorado marcos de trabajo multiagente para automatizar la generación de artículos al estilo de Wikipedia mediante la recuperación y síntesis de información de internet. Sin embargo, estos métodos se centran principalmente en la generación de solo texto, pasando por alto la importancia del contenido multimodal para mejorar la informatividad y el atractivo. En este trabajo, presentamos WikiAutoGen, un sistema novedoso para la generación automatizada de artículos multimodales al estilo de Wikipedia. A diferencia de enfoques anteriores, WikiAutoGen recupera e integra imágenes relevantes junto con texto, enriqueciendo tanto la profundidad como el atractivo visual del contenido generado. Para mejorar aún más la precisión factual y la exhaustividad, proponemos un mecanismo de autorreflexión multiperspectiva, que evalúa críticamente el contenido recuperado desde diversos puntos de vista para mejorar la fiabilidad, amplitud y coherencia, entre otros aspectos. Además, introducimos WikiSeek, un benchmark que comprende artículos de Wikipedia con temas emparejados con representaciones tanto textuales como basadas en imágenes, diseñado para evaluar la generación de conocimiento multimodal en temas más desafiantes. Los resultados experimentales muestran que WikiAutoGen supera a los métodos anteriores en un 8%-29% en nuestro benchmark WikiSeek, produciendo artículos al estilo de Wikipedia más precisos, coherentes y visualmente enriquecidos. Mostramos algunos de nuestros ejemplos generados en https://wikiautogen.github.io/.

English

Knowledge discovery and collection are intelligence-intensive tasks that traditionally require significant human effort to ensure high-quality outputs. Recent research has explored multi-agent frameworks for automating Wikipedia-style article generation by retrieving and synthesizing information from the internet. However, these methods primarily focus on text-only generation, overlooking the importance of multimodal content in enhancing informativeness and engagement. In this work, we introduce WikiAutoGen, a novel system for automated multimodal Wikipedia-style article generation. Unlike prior approaches, WikiAutoGen retrieves and integrates relevant images alongside text, enriching both the depth and visual appeal of generated content. To further improve factual accuracy and comprehensiveness, we propose a multi-perspective self-reflection mechanism, which critically assesses retrieved content from diverse viewpoints to enhance reliability, breadth, and coherence, etc. Additionally, we introduce WikiSeek, a benchmark comprising Wikipedia articles with topics paired with both textual and image-based representations, designed to evaluate multimodal knowledge generation on more challenging topics. Experimental results show that WikiAutoGen outperforms previous methods by 8%-29% on our WikiSeek benchmark, producing more accurate, coherent, and visually enriched Wikipedia-style articles. We show some of our generated examples in https://wikiautogen.github.io/ .