Wasm: 구조화된 아랍어 인터리브 다중모달 코퍼스 구축을 위한 파이프라인
Wasm: A Pipeline for Constructing Structured Arabic Interleaved Multimodal Corpora
November 10, 2025
저자: Khalil Hennara, Ahmad Bastati, Muhammad Hreden, Mohamed Motasim Hamed, Zeina Aldallal, Sara Chrouf, Safwan AlModhayan
cs.AI
초록
대규모 언어 모델(LLM)과 대규모 멀티모달 모델(LMM)의 성능은 사전 학습 데이터셋의 품질과 규모에 크게 의존합니다. 최근 연구에 따르면, 이미지와 텍스트가 혼재된 자연스러운 문서로 학습된 대규모 멀티모달 모델이 이미지-텍스트 쌍만으로 학습된 모델보다 다양한 벤치마크에서 더 우수한 성능을 보입니다. 이는 고급 사전 학습 모델을 활용하여 의미론적 정렬, 이미지-시퀀스 일관성, 텍스트적 응집성을 강화하기 때문입니다. 그러나 아랍어의 경우 문서 구조를 보존한 고품질 멀티모달 데이터셋의 부족으로 발전이 제한되어 왔습니다. 본 논문에서는 Common Crawl 데이터셋을 처리하여 마크다운 출력을 독특하게 제공하는 새로운 아랍어 멀티모달 데이터셋을 생성하는 Wasm 파이프라인을 제시합니다. 단순 텍스트 추출에만 집중하는 기존 아랍어 코퍼스와 달리, 우리의 접근 방식은 텍스트 전용 및 멀티모달 사전 학습 시나리오 모두에 대한 유연성을 유지하면서 웹 콘텐츠의 구조적 무결성을 보존합니다. 우리는 기존 주요 데이터셋에 사용된 처리 파이프라인과의 포괄적인 비교 분석을 제공하며, 필터링 전략의 공통점을 부각하고 우리의 특정 설계 선택을 정당화합니다. 향후 연구를 지원하기 위해, 우리는 대표적인 데이터셋 덤프와 아랍어용 멀티모달 처리 파이프라인을 공개합니다.
English
The performance of large language models (LLMs) and large multimodal models
(LMMs) depends heavily on the quality and scale of their pre-training datasets.
Recent research shows that large multimodal models trained on natural documents
where images and text are interleaved outperform those trained only on
image-text pairs across a wide range of benchmarks, leveraging advanced pre-
trained models to enforce semantic alignment, image-sequence consistency, and
textual coherence. For Arabic, however, the lack of high-quality multimodal
datasets that preserve document structure has limited progress. In this paper,
we present our pipeline Wasm for processing the Common Crawl dataset to create
a new Arabic multimodal dataset that uniquely provides markdown output. Unlike
existing Arabic corpora that focus solely on text extraction, our approach
preserves the structural integrity of web content while maintaining flexibility
for both text-only and multimodal pre-training scenarios. We provide a
comprehensive comparative analysis of our data processing pipeline against
those used for major existing datasets, highlighting the convergences in
filtering strategies and justifying our specific design choices. To support
future research, we publicly release a representative dataset dump along with
the multimodal processing pipeline for Arabic.