Wasm: Конвейер для построения структурированных арабских чередующихся мультимодальных корпусов

Wasm: A Pipeline for Constructing Structured Arabic Interleaved Multimodal Corpora

November 10, 2025

Авторы: Khalil Hennara, Ahmad Bastati, Muhammad Hreden, Mohamed Motasim Hamed, Zeina Aldallal, Sara Chrouf, Safwan AlModhayan

cs.AI

Аннотация

Эффективность больших языковых моделей (LLM) и больших мультимодальных моделей (LMM) в значительной степени зависит от качества и масштаба их предварительно обучающих наборов данных. Недавние исследования показывают, что большие мультимодальные модели, обученные на естественных документах, где изображения и текст переплетены, превосходят модели, обученные только на парах «изображение-текст», в широком спектре тестов, используя передовые предобученные модели для обеспечения семантического согласования, согласованности с последовательностью изображений и текстовой связности. Однако для арабского языка отсутствие высококачественных мультимодальных наборов данных, сохраняющих структуру документа, ограничивало прогресс. В данной статье мы представляем наш конвейер Wasm для обработки набора данных Common Crawl с целью создания нового арабского мультимодального набора данных, который уникальным образом предоставляет вывод в формате markdown. В отличие от существующих арабских корпусов, ориентированных исключительно на извлечение текста, наш подход сохраняет структурную целостность веб-контента, обеспечивая гибкость как для сценариев предварительного обучения только на тексте, так и для мультимодальных. Мы предоставляем всесторонний сравнительный анализ нашего конвейера обработки данных с конвейерами, используемыми для основных существующих наборов данных, выделяя сходства в стратегиях фильтрации и обосновывая наши конкретные проектные решения. Для поддержки будущих исследований мы публично выпускаем репрезентативный дамп набора данных вместе с мультимодальным конвейером обработки для арабского языка.

English

The performance of large language models (LLMs) and large multimodal models (LMMs) depends heavily on the quality and scale of their pre-training datasets. Recent research shows that large multimodal models trained on natural documents where images and text are interleaved outperform those trained only on image-text pairs across a wide range of benchmarks, leveraging advanced pre- trained models to enforce semantic alignment, image-sequence consistency, and textual coherence. For Arabic, however, the lack of high-quality multimodal datasets that preserve document structure has limited progress. In this paper, we present our pipeline Wasm for processing the Common Crawl dataset to create a new Arabic multimodal dataset that uniquely provides markdown output. Unlike existing Arabic corpora that focus solely on text extraction, our approach preserves the structural integrity of web content while maintaining flexibility for both text-only and multimodal pre-training scenarios. We provide a comprehensive comparative analysis of our data processing pipeline against those used for major existing datasets, highlighting the convergences in filtering strategies and justifying our specific design choices. To support future research, we publicly release a representative dataset dump along with the multimodal processing pipeline for Arabic.