Skalierbares visuelles Vortraining für Sprachintelligenz

Zusammenfassung

Der rasche Fortschritt großer Foundation-Modelle wurde vor allem durch das Vortraining auf großen Textkorpora vorangetrieben. Jedoch wird viel Wissen durch visuelle Darstellungen vermittelt, bei denen Abbildungen, gesetzte Gleichungen und Seitenlayouts reichhaltige Informationen enthalten, die durch Text allein nicht getreu oder vollständig erfasst werden können. Dennoch verwerfen aktuelle Vortrainingsansätze diese visuellen Hinweise, indem sie visuell reichhaltige Quellen wie Dokumente und Webseiten in reinen Text umwandeln, um Sprachintelligenz zu erlernen. Dieses Paper stellt die Standardannahme in Frage, dass Sprachmodelle ausschließlich auf textuellen Repräsentationen trainiert werden müssen, und zeigt, dass Visuelles Vortraining ein skalierbarer Lernalgorithmus für die Intelligenz von Foundation-Modellen ist. Zu diesem Zweck führen wir eine systematische Studie zu unüberwachten visuellen Vortrainingsparadigmen durch, die visuelle Dokumente direkt ohne Textextraktion nutzen. Über mehrere Backbones und Benchmarks hinweg übertrifft das visuelle Vortraining auf denselben zugrundeliegenden Korpora durchweg das rein textbasierte Vortraining und bietet einen effizienten Weg zu skalierbarer Sprachintelligenz.

English

The rapid progress of large foundation models has been driven predominantly by pretraining on large-scale text corpora. However, many forms of knowledge are conveyed through visual representations, where figures, typeset equations, and page layouts carry rich information that cannot be faithfully or completely captured by text alone. Yet current pretraining approaches discard these visual cues by converting visually rich sources, such as documents and web pages, into plain text for learning language intelligence. This paper challenges the default assumption that language models must be trained on text-only representations and shows that Visual Pretraining is a scalable learner for foundation model intelligence. To this end, we conduct a systematic study of unsupervised visual pretraining paradigms that directly leverage visual documents without text extraction. Across multiple backbones and benchmarks, visual pretraining on the same underlying corpora consistently outperforms text-only pretraining, offering an efficient pathway to scalable language intelligence.