OmniCaptioner: Eén Onderschrijver om Ze Allemaal te Beheersen

OmniCaptioner: One Captioner to Rule Them All

April 9, 2025

Auteurs: Yiting Lu, Jiakang Yuan, Zhen Li, Shitian Zhao, Qi Qin, Xinyue Li, Le Zhuo, Licheng Wen, Dongyang Liu, Yuewen Cao, Xiangchao Yan, Xin Li, Botian Shi, Tao Chen, Zhibo Chen, Lei Bai, Bo Zhang, Peng Gao

cs.AI

Samenvatting

Wij stellen OmniCaptioner voor, een veelzijdig raamwerk voor visuele beschrijvingen dat fijnmazige tekstuele beschrijvingen genereert voor een breed scala aan visuele domeinen. In tegenstelling tot eerdere methoden die beperkt zijn tot specifieke beeldtypen (bijv. natuurlijke afbeeldingen of geometrische visuals), biedt ons raamwerk een uniforme oplossing voor het beschrijven van natuurlijke afbeeldingen, visuele tekst (bijv. posters, gebruikersinterfaces, leerboeken) en gestructureerde visuals (bijv. documenten, tabellen, grafieken). Door informatie op pixelniveau om te zetten in semantisch rijke tekstuele representaties, overbrugt ons raamwerk de kloof tussen visuele en tekstuele modaliteiten. Onze resultaten benadrukken drie belangrijke voordelen: (i) Verbeterd Visueel Redeneren met LLM's, waarbij lange-context beschrijvingen van visuele modaliteiten LLM's, met name de DeepSeek-R1-serie, in staat stellen effectief te redeneren in multimodale scenario's; (ii) Verbeterde Afbeeldingsgeneratie, waarbij gedetailleerde beschrijvingen taken zoals tekst-naar-afbeelding generatie en afbeeldings-transformatie verbeteren; en (iii) Efficiëntere Supervised Fine-Tuning (SFT), wat snellere convergentie met minder data mogelijk maakt. Wij geloven dat de veelzijdigheid en aanpasbaarheid van OmniCaptioner een nieuw perspectief kan bieden voor het overbruggen van de kloof tussen taal- en visuele modaliteiten.

English

We propose OmniCaptioner, a versatile visual captioning framework for generating fine-grained textual descriptions across a wide variety of visual domains. Unlike prior methods limited to specific image types (e.g., natural images or geometric visuals), our framework provides a unified solution for captioning natural images, visual text (e.g., posters, UIs, textbooks), and structured visuals (e.g., documents, tables, charts). By converting low-level pixel information into semantically rich textual representations, our framework bridges the gap between visual and textual modalities. Our results highlight three key advantages: (i) Enhanced Visual Reasoning with LLMs, where long-context captions of visual modalities empower LLMs, particularly the DeepSeek-R1 series, to reason effectively in multimodal scenarios; (ii) Improved Image Generation, where detailed captions improve tasks like text-to-image generation and image transformation; and (iii) Efficient Supervised Fine-Tuning (SFT), which enables faster convergence with less data. We believe the versatility and adaptability of OmniCaptioner can offer a new perspective for bridging the gap between language and visual modalities.