OmniCaptioner: Um Legendador para Governar Todos

OmniCaptioner: One Captioner to Rule Them All

April 9, 2025

Autores: Yiting Lu, Jiakang Yuan, Zhen Li, Shitian Zhao, Qi Qin, Xinyue Li, Le Zhuo, Licheng Wen, Dongyang Liu, Yuewen Cao, Xiangchao Yan, Xin Li, Botian Shi, Tao Chen, Zhibo Chen, Lei Bai, Bo Zhang, Peng Gao

cs.AI

Resumo

Propomos o OmniCaptioner, uma estrutura versátil de legendagem visual para gerar descrições textuais detalhadas em uma ampla variedade de domínios visuais. Diferente de métodos anteriores limitados a tipos específicos de imagens (por exemplo, imagens naturais ou visuais geométricas), nossa estrutura oferece uma solução unificada para legendagem de imagens naturais, textos visuais (por exemplo, cartazes, interfaces de usuário, livros didáticos) e visuais estruturados (por exemplo, documentos, tabelas, gráficos). Ao converter informações de pixels de baixo nível em representações textuais semanticamente ricas, nossa estrutura preenche a lacuna entre as modalidades visual e textual. Nossos resultados destacam três vantagens principais: (i) Raciocínio Visual Aprimorado com LLMs, onde legendas de contexto longo de modalidades visuais capacitam LLMs, particularmente a série DeepSeek-R1, a raciocinar efetivamente em cenários multimodais; (ii) Geração de Imagens Melhorada, onde legendas detalhadas aprimoram tarefas como geração de texto para imagem e transformação de imagens; e (iii) Ajuste Fino Supervisionado (SFT) Eficiente, que permite convergência mais rápida com menos dados. Acreditamos que a versatilidade e adaptabilidade do OmniCaptioner podem oferecer uma nova perspectiva para preencher a lacuna entre as modalidades de linguagem e visual.

English

We propose OmniCaptioner, a versatile visual captioning framework for generating fine-grained textual descriptions across a wide variety of visual domains. Unlike prior methods limited to specific image types (e.g., natural images or geometric visuals), our framework provides a unified solution for captioning natural images, visual text (e.g., posters, UIs, textbooks), and structured visuals (e.g., documents, tables, charts). By converting low-level pixel information into semantically rich textual representations, our framework bridges the gap between visual and textual modalities. Our results highlight three key advantages: (i) Enhanced Visual Reasoning with LLMs, where long-context captions of visual modalities empower LLMs, particularly the DeepSeek-R1 series, to reason effectively in multimodal scenarios; (ii) Improved Image Generation, where detailed captions improve tasks like text-to-image generation and image transformation; and (iii) Efficient Supervised Fine-Tuning (SFT), which enables faster convergence with less data. We believe the versatility and adaptability of OmniCaptioner can offer a new perspective for bridging the gap between language and visual modalities.