OmniCaptioner : Un seul générateur de légendes pour tous les régner

OmniCaptioner: One Captioner to Rule Them All

April 9, 2025

Auteurs: Yiting Lu, Jiakang Yuan, Zhen Li, Shitian Zhao, Qi Qin, Xinyue Li, Le Zhuo, Licheng Wen, Dongyang Liu, Yuewen Cao, Xiangchao Yan, Xin Li, Botian Shi, Tao Chen, Zhibo Chen, Lei Bai, Bo Zhang, Peng Gao

cs.AI

Résumé

Nous proposons OmniCaptioner, un cadre polyvalent de génération de légendes visuelles pour produire des descriptions textuelles fines et détaillées dans une grande variété de domaines visuels. Contrairement aux méthodes antérieures limitées à des types d'images spécifiques (par exemple, des images naturelles ou des visuels géométriques), notre cadre offre une solution unifiée pour légender des images naturelles, du texte visuel (par exemple, des affiches, des interfaces utilisateur, des manuels scolaires) et des visuels structurés (par exemple, des documents, des tableaux, des graphiques). En convertissant les informations de pixels de bas niveau en représentations textuelles sémantiquement riches, notre cadre comble le fossé entre les modalités visuelles et textuelles. Nos résultats mettent en évidence trois avantages clés : (i) Un raisonnement visuel amélioré avec les LLM, où les légendes à contexte long des modalités visuelles permettent aux LLM, en particulier la série DeepSeek-R1, de raisonner efficacement dans des scénarios multimodaux ; (ii) Une génération d'images améliorée, où les légendes détaillées améliorent des tâches comme la génération d'images à partir de texte et la transformation d'images ; et (iii) Un réglage fin supervisé (SFT) efficace, qui permet une convergence plus rapide avec moins de données. Nous pensons que la polyvalence et l'adaptabilité d'OmniCaptioner peuvent offrir une nouvelle perspective pour combler le fossé entre les modalités linguistiques et visuelles.

English

We propose OmniCaptioner, a versatile visual captioning framework for generating fine-grained textual descriptions across a wide variety of visual domains. Unlike prior methods limited to specific image types (e.g., natural images or geometric visuals), our framework provides a unified solution for captioning natural images, visual text (e.g., posters, UIs, textbooks), and structured visuals (e.g., documents, tables, charts). By converting low-level pixel information into semantically rich textual representations, our framework bridges the gap between visual and textual modalities. Our results highlight three key advantages: (i) Enhanced Visual Reasoning with LLMs, where long-context captions of visual modalities empower LLMs, particularly the DeepSeek-R1 series, to reason effectively in multimodal scenarios; (ii) Improved Image Generation, where detailed captions improve tasks like text-to-image generation and image transformation; and (iii) Efficient Supervised Fine-Tuning (SFT), which enables faster convergence with less data. We believe the versatility and adaptability of OmniCaptioner can offer a new perspective for bridging the gap between language and visual modalities.