Wasm: Una Canalización para la Construcción de Corpus Multimodales Árabes Estructurados con Datos Intercalados

Wasm: A Pipeline for Constructing Structured Arabic Interleaved Multimodal Corpora

November 10, 2025

Autores: Khalil Hennara, Ahmad Bastati, Muhammad Hreden, Mohamed Motasim Hamed, Zeina Aldallal, Sara Chrouf, Safwan AlModhayan

cs.AI

Resumen

El rendimiento de los modelos de lenguaje grandes (LLM) y los modelos multimodales grandes (LMM) depende en gran medida de la calidad y escala de sus conjuntos de datos de pre-entrenamiento. Investigaciones recientes demuestran que los modelos multimodales grandes entrenados con documentos naturales donde las imágenes y el texto están intercalados superan a aquellos entrenados únicamente con pares imagen-texto en una amplia gama de benchmarks, aprovechando modelos pre-entrenados avanzados para reforzar la alineación semántica, la coherencia secuencial de imágenes y la cohesión textual. Sin embargo, para el árabe, la falta de conjuntos de datos multimodales de alta calidad que preserven la estructura de los documentos ha limitado el progreso. En este artículo, presentamos nuestro pipeline Wasm para procesar el conjunto de datos Common Crawl y crear un nuevo conjunto de datos multimodal para árabe que proporciona de forma única una salida en formato markdown. A diferencia de los corpus en árabe existentes que se centran únicamente en la extracción de texto, nuestro enfoque preserva la integridad estructural del contenido web manteniendo la flexibilidad para escenarios de pre-entrenamiento tanto de solo texto como multimodales. Ofrecemos un análisis comparativo exhaustivo de nuestro pipeline de procesamiento de datos frente a los utilizados para los principales conjuntos de datos existentes, destacando las convergencias en las estrategias de filtrado y justificando nuestras decisiones de diseño específicas. Para apoyar la investigación futura, publicamos un volcado de datos representativo junto con el pipeline de procesamiento multimodal para árabe.

English

The performance of large language models (LLMs) and large multimodal models (LMMs) depends heavily on the quality and scale of their pre-training datasets. Recent research shows that large multimodal models trained on natural documents where images and text are interleaved outperform those trained only on image-text pairs across a wide range of benchmarks, leveraging advanced pre- trained models to enforce semantic alignment, image-sequence consistency, and textual coherence. For Arabic, however, the lack of high-quality multimodal datasets that preserve document structure has limited progress. In this paper, we present our pipeline Wasm for processing the Common Crawl dataset to create a new Arabic multimodal dataset that uniquely provides markdown output. Unlike existing Arabic corpora that focus solely on text extraction, our approach preserves the structural integrity of web content while maintaining flexibility for both text-only and multimodal pre-training scenarios. We provide a comprehensive comparative analysis of our data processing pipeline against those used for major existing datasets, highlighting the convergences in filtering strategies and justifying our specific design choices. To support future research, we publicly release a representative dataset dump along with the multimodal processing pipeline for Arabic.