WikiAutoGen: К созданию многомодальной генерации статей в стиле Википедии

WikiAutoGen: Towards Multi-Modal Wikipedia-Style Article Generation

March 24, 2025

Авторы: Zhongyu Yang, Jun Chen, Dannong Xu, Junjie Fei, Xiaoqian Shen, Liangbing Zhao, Chun-Mei Feng, Mohamed Elhoseiny

cs.AI

Аннотация

Обнаружение и сбор знаний — это интеллектуально сложные задачи, которые традиционно требуют значительных человеческих усилий для обеспечения высококачественных результатов. В последних исследованиях изучаются мультиагентные фреймворки для автоматизации создания статей в стиле Википедии путем извлечения и синтеза информации из интернета. Однако эти методы в основном сосредоточены на генерации только текста, упуская важность мультимодального контента для повышения информативности и вовлеченности. В данной работе мы представляем WikiAutoGen — новую систему для автоматизированного создания мультимодальных статей в стиле Википедии. В отличие от предыдущих подходов, WikiAutoGen извлекает и интегрирует релевантные изображения вместе с текстом, обогащая как глубину, так и визуальную привлекательность генерируемого контента. Для дальнейшего повышения фактической точности и полноты мы предлагаем механизм многоперспективной саморефлексии, который критически оценивает извлеченный контент с различных точек зрения, чтобы улучшить надежность, широту и согласованность. Кроме того, мы представляем WikiSeek — бенчмарк, состоящий из статей Википедии с темами, представленными как текстовыми, так и визуальными данными, предназначенный для оценки мультимодальной генерации знаний на более сложных темах. Экспериментальные результаты показывают, что WikiAutoGen превосходит предыдущие методы на 8%-29% на нашем бенчмарке WikiSeek, создавая более точные, согласованные и визуально обогащенные статьи в стиле Википедии. Некоторые из наших сгенерированных примеров можно увидеть на https://wikiautogen.github.io/.

English

Knowledge discovery and collection are intelligence-intensive tasks that traditionally require significant human effort to ensure high-quality outputs. Recent research has explored multi-agent frameworks for automating Wikipedia-style article generation by retrieving and synthesizing information from the internet. However, these methods primarily focus on text-only generation, overlooking the importance of multimodal content in enhancing informativeness and engagement. In this work, we introduce WikiAutoGen, a novel system for automated multimodal Wikipedia-style article generation. Unlike prior approaches, WikiAutoGen retrieves and integrates relevant images alongside text, enriching both the depth and visual appeal of generated content. To further improve factual accuracy and comprehensiveness, we propose a multi-perspective self-reflection mechanism, which critically assesses retrieved content from diverse viewpoints to enhance reliability, breadth, and coherence, etc. Additionally, we introduce WikiSeek, a benchmark comprising Wikipedia articles with topics paired with both textual and image-based representations, designed to evaluate multimodal knowledge generation on more challenging topics. Experimental results show that WikiAutoGen outperforms previous methods by 8%-29% on our WikiSeek benchmark, producing more accurate, coherent, and visually enriched Wikipedia-style articles. We show some of our generated examples in https://wikiautogen.github.io/ .