Wasm: Um Pipeline para a Construção de Corpora Árabes Estruturados e Multimodais com Dados Intercalados

Wasm: A Pipeline for Constructing Structured Arabic Interleaved Multimodal Corpora

November 10, 2025

Autores: Khalil Hennara, Ahmad Bastati, Muhammad Hreden, Mohamed Motasim Hamed, Zeina Aldallal, Sara Chrouf, Safwan AlModhayan

cs.AI

Resumo

O desempenho de grandes modelos de linguagem (LLMs) e grandes modelos multimodais (LMMs) depende fortemente da qualidade e da escala dos seus conjuntos de dados de pré-treinamento. Pesquisas recentes mostram que grandes modelos multimodais treinados em documentos naturais, onde imagens e texto são intercalados, superam aqueles treinados apenas em pares imagem-texto em uma ampla gama de benchmarks, aproveitando modelos de pré-treinamento avançados para impor alinhamento semântico, consistência de sequência de imagens e coerência textual. No entanto, para o árabe, a falta de conjuntos de dados multimodais de alta qualidade que preservem a estrutura do documento tem limitado o progresso. Neste artigo, apresentamos nosso pipeline Wasm para processar o conjunto de dados Common Crawl a fim de criar um novo conjunto de dados multimodal para árabe que oferece, de forma única, saída em formato markdown. Diferente de corpora árabes existentes que se concentram apenas na extração de texto, nossa abordagem preserva a integridade estrutural do conteúdo da web, mantendo a flexibilidade para cenários de pré-treinamento apenas de texto e multimodais. Fornecemos uma análise comparativa abrangente do nosso pipeline de processamento de dados em relação aos utilizados para os principais conjuntos de dados existentes, destacando as convergências nas estratégias de filtragem e justificando nossas escolhas de design específicas. Para apoiar pesquisas futuras, disponibilizamos publicamente um *dump* representativo do conjunto de dados, juntamente com o pipeline de processamento multimodal para árabe.

English

The performance of large language models (LLMs) and large multimodal models (LMMs) depends heavily on the quality and scale of their pre-training datasets. Recent research shows that large multimodal models trained on natural documents where images and text are interleaved outperform those trained only on image-text pairs across a wide range of benchmarks, leveraging advanced pre- trained models to enforce semantic alignment, image-sequence consistency, and textual coherence. For Arabic, however, the lack of high-quality multimodal datasets that preserve document structure has limited progress. In this paper, we present our pipeline Wasm for processing the Common Crawl dataset to create a new Arabic multimodal dataset that uniquely provides markdown output. Unlike existing Arabic corpora that focus solely on text extraction, our approach preserves the structural integrity of web content while maintaining flexibility for both text-only and multimodal pre-training scenarios. We provide a comprehensive comparative analysis of our data processing pipeline against those used for major existing datasets, highlighting the convergences in filtering strategies and justifying our specific design choices. To support future research, we publicly release a representative dataset dump along with the multimodal processing pipeline for Arabic.