Wasm: Een pijplijn voor het construeren van gestructureerde Arabische interlevende multimodale corpora

Wasm: A Pipeline for Constructing Structured Arabic Interleaved Multimodal Corpora

November 10, 2025

Auteurs: Khalil Hennara, Ahmad Bastati, Muhammad Hreden, Mohamed Motasim Hamed, Zeina Aldallal, Sara Chrouf, Safwan AlModhayan

cs.AI

Samenvatting

De prestaties van grote taalmmodellen (LLM's) en grote multimodale modellen (LMM's) zijn sterk afhankelijk van de kwaliteit en schaal van hun vooraf getrainde datasets. Recent onderzoek toont aan dat grote multimodale modellen die zijn getraind op natuurlijke documenten waarin afbeeldingen en tekst door elkaar heen lopen, beter presteren dan modellen die uitsluitend zijn getraind op afbeelding-tekstparen over een breed scala aan benchmarks. Dit wordt bereikt door gebruik te maken van geavanceerde vooraf getrainde modellen om semantische uitlijning, consistentie in beeldreeksen en tekstuele samenhang af te dwingen. Voor het Arabisch heeft het gebrek aan hoogwaardige multimodale datasets die de documentstructuur behouden, echter de vooruitgang beperkt. In dit artikel presenteren we onze pijplijn Wasm voor het verwerken van de Common Crawl-dataset om een nieuwe Arabische multimodale dataset te creëren die uniek markdown-output biedt. In tegenstelling tot bestaande Arabische corpora die zich uitsluitend richten op tekstextractie, behoudt onze aanpak de structurele integriteit van webinhoud, terwijl flexibiliteit wordt gehandhaafd voor zowel tekstuele als multimodale voorafgaande trainingsscenario's. Wij bieden een uitgebreide vergelijkende analyse van onze gegevensverwerkingspijplijn ten opzichte van die gebruikt voor grote bestaande datasets, waarbij de convergenties in filterstrategieën worden belicht en onze specifieke ontwerpkeuzes worden gerechtvaardigd. Om toekomstig onderzoek te ondersteunen, geven wij een representatieve datasetdump samen met de multimodale verwerkingspijplijn voor het Arabisch openbaar vrij.

English

The performance of large language models (LLMs) and large multimodal models (LMMs) depends heavily on the quality and scale of their pre-training datasets. Recent research shows that large multimodal models trained on natural documents where images and text are interleaved outperform those trained only on image-text pairs across a wide range of benchmarks, leveraging advanced pre- trained models to enforce semantic alignment, image-sequence consistency, and textual coherence. For Arabic, however, the lack of high-quality multimodal datasets that preserve document structure has limited progress. In this paper, we present our pipeline Wasm for processing the Common Crawl dataset to create a new Arabic multimodal dataset that uniquely provides markdown output. Unlike existing Arabic corpora that focus solely on text extraction, our approach preserves the structural integrity of web content while maintaining flexibility for both text-only and multimodal pre-training scenarios. We provide a comprehensive comparative analysis of our data processing pipeline against those used for major existing datasets, highlighting the convergences in filtering strategies and justifying our specific design choices. To support future research, we publicly release a representative dataset dump along with the multimodal processing pipeline for Arabic.