WikiAutoGen : Vers la génération d'articles de style Wikipédia en mode multi-modal

WikiAutoGen: Towards Multi-Modal Wikipedia-Style Article Generation

March 24, 2025

Auteurs: Zhongyu Yang, Jun Chen, Dannong Xu, Junjie Fei, Xiaoqian Shen, Liangbing Zhao, Chun-Mei Feng, Mohamed Elhoseiny

cs.AI

Résumé

La découverte et la collecte de connaissances sont des tâches intensives en intelligence qui nécessitent traditionnellement un effort humain important pour garantir des résultats de haute qualité. Des recherches récentes ont exploré des cadres multi-agents pour automatiser la génération d'articles de style Wikipédia en récupérant et en synthétisant des informations provenant d'Internet. Cependant, ces méthodes se concentrent principalement sur la génération de texte uniquement, négligeant l'importance du contenu multimodal pour améliorer l'informativité et l'engagement. Dans ce travail, nous présentons WikiAutoGen, un système novateur pour la génération automatisée d'articles de style Wikipédia multimodaux. Contrairement aux approches précédentes, WikiAutoGen récupère et intègre des images pertinentes aux côtés du texte, enrichissant ainsi la profondeur et l'attrait visuel du contenu généré. Pour améliorer davantage l'exactitude factuelle et l'exhaustivité, nous proposons un mécanisme d'auto-réflexion multi-perspectives, qui évalue de manière critique le contenu récupéré sous divers angles pour renforcer la fiabilité, l'étendue et la cohérence, entre autres. De plus, nous introduisons WikiSeek, un benchmark comprenant des articles Wikipédia avec des sujets associés à des représentations textuelles et basées sur des images, conçu pour évaluer la génération de connaissances multimodales sur des sujets plus complexes. Les résultats expérimentaux montrent que WikiAutoGen surpasse les méthodes précédentes de 8 % à 29 % sur notre benchmark WikiSeek, produisant des articles de style Wikipédia plus précis, cohérents et enrichis visuellement. Nous présentons certains de nos exemples générés sur https://wikiautogen.github.io/.

English

Knowledge discovery and collection are intelligence-intensive tasks that traditionally require significant human effort to ensure high-quality outputs. Recent research has explored multi-agent frameworks for automating Wikipedia-style article generation by retrieving and synthesizing information from the internet. However, these methods primarily focus on text-only generation, overlooking the importance of multimodal content in enhancing informativeness and engagement. In this work, we introduce WikiAutoGen, a novel system for automated multimodal Wikipedia-style article generation. Unlike prior approaches, WikiAutoGen retrieves and integrates relevant images alongside text, enriching both the depth and visual appeal of generated content. To further improve factual accuracy and comprehensiveness, we propose a multi-perspective self-reflection mechanism, which critically assesses retrieved content from diverse viewpoints to enhance reliability, breadth, and coherence, etc. Additionally, we introduce WikiSeek, a benchmark comprising Wikipedia articles with topics paired with both textual and image-based representations, designed to evaluate multimodal knowledge generation on more challenging topics. Experimental results show that WikiAutoGen outperforms previous methods by 8%-29% on our WikiSeek benchmark, producing more accurate, coherent, and visually enriched Wikipedia-style articles. We show some of our generated examples in https://wikiautogen.github.io/ .