Wasm: Eine Pipeline zur Erstellung strukturierter arabischer, verschachtelter multimodaler Korpora

papers.abstract

Die Leistung von großen Sprachmodellen (LLMs) und großen multimodalen Modellen (LMMs) hängt maßgeblich von der Qualität und dem Umfang ihrer Vortrainingsdatensätze ab. Jüngste Forschungsergebnisse zeigen, dass große multimodale Modelle, die mit natürlichen Dokumenten trainiert wurden, in denen Bilder und Text miteinander verwoben sind, Modelle, die nur mit Bild-Text-Paaren trainiert wurden, auf einer breiten Palette von Benchmarks übertreffen. Dies gelingt durch die Nutzung fortschrittlicher vortrainierter Modelle, um semantische Ausrichtung, Bild-Sequenz-Konsistenz und textuelle Kohärenz zu gewährleisten. Für das Arabische hat jedoch der Mangel an hochwertigen multimodalen Datensätzen, die die Dokumentenstruktur erhalten, den Fortschritt begrenzt. In diesem Artikel stellen wir unsere Pipeline Wasm zur Verarbeitung des Common-Crawl-Datensatzes vor, um einen neuen arabischen multimodalen Datensatz zu erstellen, der einzigartig Markdown-Ausgabe liefert. Im Gegensatz zu bestehenden arabischen Korpora, die sich ausschließlich auf Textextraktion konzentrieren, bewahrt unser Ansatz die strukturelle Integrität von Webinhalten und behält gleichzeitig die Flexibilität für reine Text- und multimodale Vortrainingsszenarien bei. Wir liefern eine umfassende vergleichende Analyse unserer Datenverarbeitungspipeline im Vergleich zu denen, die für große bestehende Datensätze verwendet werden, heben die Übereinstimmungen in den Filterstrategien hervor und begründen unsere spezifischen Designentscheidungen. Um zukünftige Forschung zu unterstützen, veröffentlichen wir öffentlich einen repräsentativen Datensatz-Auszug zusammen mit der multimodalen Verarbeitungspipeline für Arabisch.

English

The performance of large language models (LLMs) and large multimodal models (LMMs) depends heavily on the quality and scale of their pre-training datasets. Recent research shows that large multimodal models trained on natural documents where images and text are interleaved outperform those trained only on image-text pairs across a wide range of benchmarks, leveraging advanced pre- trained models to enforce semantic alignment, image-sequence consistency, and textual coherence. For Arabic, however, the lack of high-quality multimodal datasets that preserve document structure has limited progress. In this paper, we present our pipeline Wasm for processing the Common Crawl dataset to create a new Arabic multimodal dataset that uniquely provides markdown output. Unlike existing Arabic corpora that focus solely on text extraction, our approach preserves the structural integrity of web content while maintaining flexibility for both text-only and multimodal pre-training scenarios. We provide a comprehensive comparative analysis of our data processing pipeline against those used for major existing datasets, highlighting the convergences in filtering strategies and justifying our specific design choices. To support future research, we publicly release a representative dataset dump along with the multimodal processing pipeline for Arabic.

Wasm: Eine Pipeline zur Erstellung strukturierter arabischer, verschachtelter multimodaler Korpora

Wasm: A Pipeline for Constructing Structured Arabic Interleaved Multimodal Corpora

papers.abstract

Support