Wasm : Un pipeline pour la construction de corpus multimodaux arabes structurés à données entrelacées

papers.abstract

Les performances des grands modèles de langage (LLM) et des grands modèles multimodaux (LMM) dépendent fortement de la qualité et de l'échelle de leurs jeux de données de pré-entraînement. Des recherches récentes montrent que les grands modèles multimodaux entraînés sur des documents naturels où les images et le texte sont entrelacés surpassent ceux entraînés uniquement sur des paires image-texte sur un large éventail de benchmarks, en tirant parti de modèles pré-entraînés avancés pour renforcer l'alignement sémantique, la cohérence image-séquence et la cohérence textuelle. Pour l'arabe, cependant, l'absence de jeux de données multimodaux de haute qualité préservant la structure des documents a limité les progrès. Dans cet article, nous présentons notre pipeline Wasm pour traiter le jeu de données Common Crawl afin de créer un nouveau jeu de données multimodal arabe qui fournit de manière unique une sortie au format markdown. Contrairement aux corpus arabes existants qui se concentrent uniquement sur l'extraction de texte, notre approche préserve l'intégrité structurelle du contenu web tout en maintenant une flexibilité pour les scénarios de pré-entraînement unimodal (texte seul) et multimodal. Nous fournissons une analyse comparative complète de notre pipeline de traitement des données par rapport à ceux utilisés pour les principaux jeux de données existants, en mettant en évidence les convergences dans les stratégies de filtrage et en justifiant nos choix de conception spécifiques. Pour soutenir les recherches futures, nous publions un échantillon représentatif du jeu de données ainsi que le pipeline de traitement multimodal pour l'arabe.

English

The performance of large language models (LLMs) and large multimodal models (LMMs) depends heavily on the quality and scale of their pre-training datasets. Recent research shows that large multimodal models trained on natural documents where images and text are interleaved outperform those trained only on image-text pairs across a wide range of benchmarks, leveraging advanced pre- trained models to enforce semantic alignment, image-sequence consistency, and textual coherence. For Arabic, however, the lack of high-quality multimodal datasets that preserve document structure has limited progress. In this paper, we present our pipeline Wasm for processing the Common Crawl dataset to create a new Arabic multimodal dataset that uniquely provides markdown output. Unlike existing Arabic corpora that focus solely on text extraction, our approach preserves the structural integrity of web content while maintaining flexibility for both text-only and multimodal pre-training scenarios. We provide a comprehensive comparative analysis of our data processing pipeline against those used for major existing datasets, highlighting the convergences in filtering strategies and justifying our specific design choices. To support future research, we publicly release a representative dataset dump along with the multimodal processing pipeline for Arabic.

Wasm : Un pipeline pour la construction de corpus multimodaux arabes structurés à données entrelacées

Wasm: A Pipeline for Constructing Structured Arabic Interleaved Multimodal Corpora

papers.abstract

Support