LongWriter-V: Habilitando la generación ultra larga y de alta fidelidad en modelos de visión y lenguaje

LongWriter-V: Enabling Ultra-Long and High-Fidelity Generation in Vision-Language Models

February 20, 2025

Autores: Shangqing Tu, Yucheng Wang, Daniel Zhang-Li, Yushi Bai, Jifan Yu, Yuhao Wu, Lei Hou, Huiqin Liu, Zhiyuan Liu, Bin Xu, Juanzi Li

cs.AI

Resumen

Los modelos de visión y lenguaje a gran escala (LVLMs) existentes pueden procesar entradas con longitudes de contexto de hasta 128k tokens visuales y textuales, pero tienen dificultades para generar salidas coherentes que superen las 1,000 palabras. Descubrimos que la principal limitación es la ausencia de ejemplos de salidas largas durante el ajuste fino supervisado (SFT). Para abordar este problema, presentamos LongWriter-V-22k, un conjunto de datos de SFT que incluye 22,158 ejemplos, cada uno con múltiples imágenes de entrada, una instrucción y salidas correspondientes que van desde 0 hasta 10,000 palabras. Además, para lograr salidas largas que mantengan una alta fidelidad con las imágenes de entrada, aplicamos la Optimización de Preferencias Directas (DPO) al modelo SFT. Dado el alto costo de recopilar retroalimentación humana para salidas extensas (por ejemplo, 3,000 palabras), proponemos IterDPO, que divide las salidas largas en segmentos y utiliza correcciones iterativas para formar pares de preferencia con las salidas originales. Adicionalmente, desarrollamos MMLongBench-Write, un punto de referencia que incluye seis tareas para evaluar las capacidades de generación larga de los modelos de visión y lenguaje (VLMs). Nuestro modelo de 7B parámetros, entrenado con LongWriter-V-22k e IterDPO, logra un rendimiento impresionante en este punto de referencia, superando a modelos propietarios más grandes como GPT-4o. Código y datos: https://github.com/THU-KEG/LongWriter-V

English

Existing Large Vision-Language Models (LVLMs) can process inputs with context lengths up to 128k visual and text tokens, yet they struggle to generate coherent outputs beyond 1,000 words. We find that the primary limitation is the absence of long output examples during supervised fine-tuning (SFT). To tackle this issue, we introduce LongWriter-V-22k, a SFT dataset comprising 22,158 examples, each with multiple input images, an instruction, and corresponding outputs ranging from 0 to 10,000 words. Moreover, to achieve long outputs that maintain high-fidelity to the input images, we employ Direct Preference Optimization (DPO) to the SFT model. Given the high cost of collecting human feedback for lengthy outputs (e.g., 3,000 words), we propose IterDPO, which breaks long outputs into segments and uses iterative corrections to form preference pairs with the original outputs. Additionally, we develop MMLongBench-Write, a benchmark featuring six tasks to evaluate the long-generation capabilities of VLMs. Our 7B parameter model, trained with LongWriter-V-22k and IterDPO, achieves impressive performance on this benchmark, outperforming larger proprietary models like GPT-4o. Code and data: https://github.com/THU-KEG/LongWriter-V