WikiAutoGen: Op Weg naar Multi-Modale Wikipedia-Stijl Artikelgeneratie

WikiAutoGen: Towards Multi-Modal Wikipedia-Style Article Generation

March 24, 2025

Auteurs: Zhongyu Yang, Jun Chen, Dannong Xu, Junjie Fei, Xiaoqian Shen, Liangbing Zhao, Chun-Mei Feng, Mohamed Elhoseiny

cs.AI

Samenvatting

Kennisontdekking en -verzameling zijn taken die veel intelligentie vereisen en traditioneel aanzienlijke menselijke inspanning vergen om hoogwaardige resultaten te garanderen. Recent onderzoek heeft multi-agent frameworks verkend voor het automatiseren van Wikipedia-stijl artikelgeneratie door informatie van het internet op te halen en te synthetiseren. Deze methoden richten zich echter voornamelijk op tekstuele generatie en negeren het belang van multimodale inhoud bij het vergroten van de informatiewaarde en betrokkenheid. In dit werk introduceren we WikiAutoGen, een nieuw systeem voor geautomatiseerde multimodale Wikipedia-stijl artikelgeneratie. In tegenstelling tot eerdere benaderingen, haalt en integreert WikiAutoGen relevante afbeeldingen naast tekst, waardoor zowel de diepte als de visuele aantrekkingskracht van de gegenereerde inhoud wordt verrijkt. Om de feitelijke nauwkeurigheid en volledigheid verder te verbeteren, stellen we een multi-perspectief zelfreflectiemechanisme voor, dat opgehaalde inhoud kritisch beoordeelt vanuit diverse gezichtspunten om betrouwbaarheid, breedte en samenhang te verbeteren. Daarnaast introduceren we WikiSeek, een benchmark bestaande uit Wikipedia-artikelen met onderwerpen die zowel tekstueel als visueel zijn gerepresenteerd, ontworpen om multimodale kennisgeneratie over uitdagendere onderwerpen te evalueren. Experimentele resultaten tonen aan dat WikiAutoGen eerdere methoden met 8%-29% overtreft op onze WikiSeek-benchmark, waardoor nauwkeurigere, samenhangendere en visueel verrijkte Wikipedia-stijl artikelen worden geproduceerd. We tonen enkele van onze gegenereerde voorbeelden op https://wikiautogen.github.io/.

English

Knowledge discovery and collection are intelligence-intensive tasks that traditionally require significant human effort to ensure high-quality outputs. Recent research has explored multi-agent frameworks for automating Wikipedia-style article generation by retrieving and synthesizing information from the internet. However, these methods primarily focus on text-only generation, overlooking the importance of multimodal content in enhancing informativeness and engagement. In this work, we introduce WikiAutoGen, a novel system for automated multimodal Wikipedia-style article generation. Unlike prior approaches, WikiAutoGen retrieves and integrates relevant images alongside text, enriching both the depth and visual appeal of generated content. To further improve factual accuracy and comprehensiveness, we propose a multi-perspective self-reflection mechanism, which critically assesses retrieved content from diverse viewpoints to enhance reliability, breadth, and coherence, etc. Additionally, we introduce WikiSeek, a benchmark comprising Wikipedia articles with topics paired with both textual and image-based representations, designed to evaluate multimodal knowledge generation on more challenging topics. Experimental results show that WikiAutoGen outperforms previous methods by 8%-29% on our WikiSeek benchmark, producing more accurate, coherent, and visually enriched Wikipedia-style articles. We show some of our generated examples in https://wikiautogen.github.io/ .