OmniCaptioner: Un Generador de Subtítulos para Gobernarlos a Todos

OmniCaptioner: One Captioner to Rule Them All

April 9, 2025

Autores: Yiting Lu, Jiakang Yuan, Zhen Li, Shitian Zhao, Qi Qin, Xinyue Li, Le Zhuo, Licheng Wen, Dongyang Liu, Yuewen Cao, Xiangchao Yan, Xin Li, Botian Shi, Tao Chen, Zhibo Chen, Lei Bai, Bo Zhang, Peng Gao

cs.AI

Resumen

Proponemos OmniCaptioner, un marco versátil para la generación de descripciones textuales detalladas en una amplia variedad de dominios visuales. A diferencia de métodos anteriores limitados a tipos específicos de imágenes (por ejemplo, imágenes naturales o visuales geométricas), nuestro marco ofrece una solución unificada para la descripción de imágenes naturales, texto visual (por ejemplo, carteles, interfaces de usuario, libros de texto) y visuales estructurados (por ejemplo, documentos, tablas, gráficos). Al convertir información de píxeles de bajo nivel en representaciones textuales semánticamente ricas, nuestro marco cierra la brecha entre las modalidades visual y textual. Nuestros resultados destacan tres ventajas clave: (i) Razonamiento Visual Mejorado con LLMs, donde descripciones de contexto largo de modalidades visuales potencian a los LLMs, particularmente la serie DeepSeek-R1, para razonar efectivamente en escenarios multimodales; (ii) Generación de Imágenes Mejorada, donde descripciones detalladas mejoran tareas como la generación de texto a imagen y la transformación de imágenes; y (iii) Ajuste Supervisado Eficiente (SFT), que permite una convergencia más rápida con menos datos. Creemos que la versatilidad y adaptabilidad de OmniCaptioner pueden ofrecer una nueva perspectiva para cerrar la brecha entre las modalidades del lenguaje y las visuales.

English

We propose OmniCaptioner, a versatile visual captioning framework for generating fine-grained textual descriptions across a wide variety of visual domains. Unlike prior methods limited to specific image types (e.g., natural images or geometric visuals), our framework provides a unified solution for captioning natural images, visual text (e.g., posters, UIs, textbooks), and structured visuals (e.g., documents, tables, charts). By converting low-level pixel information into semantically rich textual representations, our framework bridges the gap between visual and textual modalities. Our results highlight three key advantages: (i) Enhanced Visual Reasoning with LLMs, where long-context captions of visual modalities empower LLMs, particularly the DeepSeek-R1 series, to reason effectively in multimodal scenarios; (ii) Improved Image Generation, where detailed captions improve tasks like text-to-image generation and image transformation; and (iii) Efficient Supervised Fine-Tuning (SFT), which enables faster convergence with less data. We believe the versatility and adaptability of OmniCaptioner can offer a new perspective for bridging the gap between language and visual modalities.