OmniCaptioner: Ein Captioner, um sie alle zu beherrschen

OmniCaptioner: One Captioner to Rule Them All

April 9, 2025

Autoren: Yiting Lu, Jiakang Yuan, Zhen Li, Shitian Zhao, Qi Qin, Xinyue Li, Le Zhuo, Licheng Wen, Dongyang Liu, Yuewen Cao, Xiangchao Yan, Xin Li, Botian Shi, Tao Chen, Zhibo Chen, Lei Bai, Bo Zhang, Peng Gao

cs.AI

Zusammenfassung

Wir stellen OmniCaptioner vor, ein vielseitiges Framework zur visuellen Beschriftung, das feingranulare textuelle Beschreibungen für eine breite Palette visueller Domänen generiert. Im Gegensatz zu früheren Methoden, die auf bestimmte Bildtypen (z. B. natürliche Bilder oder geometrische Visualisierungen) beschränkt waren, bietet unser Framework eine einheitliche Lösung für die Beschriftung von natürlichen Bildern, visuellem Text (z. B. Plakate, Benutzeroberflächen, Lehrbücher) und strukturierten Visualisierungen (z. B. Dokumente, Tabellen, Diagramme). Indem es niedrig aufgelöste Pixelinformationen in semantisch reiche textuelle Repräsentationen umwandelt, schließt unser Framework die Lücke zwischen visuellen und textuellen Modalitäten. Unsere Ergebnisse heben drei wesentliche Vorteile hervor: (i) Verbessertes visuelles Schließen mit LLMs, bei dem langkontextuelle Beschreibungen visueller Modalitäten LLMs, insbesondere die DeepSeek-R1-Serie, befähigen, effektiv in multimodalen Szenarien zu schließen; (ii) Verbesserte Bildgenerierung, bei der detaillierte Beschreibungen Aufgaben wie Text-zu-Bild-Generierung und Bildtransformation optimieren; und (iii) Effizientes Supervised Fine-Tuning (SFT), das eine schnellere Konvergenz mit weniger Daten ermöglicht. Wir glauben, dass die Vielseitigkeit und Anpassungsfähigkeit von OmniCaptioner eine neue Perspektive bieten kann, um die Lücke zwischen Sprach- und visuellen Modalitäten zu schließen.

English

We propose OmniCaptioner, a versatile visual captioning framework for generating fine-grained textual descriptions across a wide variety of visual domains. Unlike prior methods limited to specific image types (e.g., natural images or geometric visuals), our framework provides a unified solution for captioning natural images, visual text (e.g., posters, UIs, textbooks), and structured visuals (e.g., documents, tables, charts). By converting low-level pixel information into semantically rich textual representations, our framework bridges the gap between visual and textual modalities. Our results highlight three key advantages: (i) Enhanced Visual Reasoning with LLMs, where long-context captions of visual modalities empower LLMs, particularly the DeepSeek-R1 series, to reason effectively in multimodal scenarios; (ii) Improved Image Generation, where detailed captions improve tasks like text-to-image generation and image transformation; and (iii) Efficient Supervised Fine-Tuning (SFT), which enables faster convergence with less data. We believe the versatility and adaptability of OmniCaptioner can offer a new perspective for bridging the gap between language and visual modalities.