LongWriter-V: Habilitando Geração Ultra-Longa e de Alta Fidelidade em Modelos de Visão e Linguagem

LongWriter-V: Enabling Ultra-Long and High-Fidelity Generation in Vision-Language Models

February 20, 2025

Autores: Shangqing Tu, Yucheng Wang, Daniel Zhang-Li, Yushi Bai, Jifan Yu, Yuhao Wu, Lei Hou, Huiqin Liu, Zhiyuan Liu, Bin Xu, Juanzi Li

cs.AI

Resumo

Os modelos de visão e linguagem de grande escala (LVLMs) existentes podem processar entradas com contextos de até 128 mil tokens visuais e textuais, mas enfrentam dificuldades para gerar saídas coerentes além de 1.000 palavras. Descobrimos que a principal limitação é a ausência de exemplos de saídas longas durante o ajuste fino supervisionado (SFT). Para resolver esse problema, introduzimos o LongWriter-V-22k, um conjunto de dados SFT composto por 22.158 exemplos, cada um com múltiplas imagens de entrada, uma instrução e saídas correspondentes variando de 0 a 10.000 palavras. Além disso, para alcançar saídas longas que mantenham alta fidelidade às imagens de entrada, aplicamos a Otimização de Preferência Direta (DPO) ao modelo SFT. Dado o alto custo de coletar feedback humano para saídas extensas (por exemplo, 3.000 palavras), propomos o IterDPO, que divide saídas longas em segmentos e usa correções iterativas para formar pares de preferência com as saídas originais. Adicionalmente, desenvolvemos o MMLongBench-Write, um benchmark com seis tarefas para avaliar as capacidades de geração longa de VLMs. Nosso modelo de 7B de parâmetros, treinado com LongWriter-V-22k e IterDPO, alcança um desempenho impressionante nesse benchmark, superando modelos proprietários maiores, como o GPT-4o. Código e dados: https://github.com/THU-KEG/LongWriter-V

English

Existing Large Vision-Language Models (LVLMs) can process inputs with context lengths up to 128k visual and text tokens, yet they struggle to generate coherent outputs beyond 1,000 words. We find that the primary limitation is the absence of long output examples during supervised fine-tuning (SFT). To tackle this issue, we introduce LongWriter-V-22k, a SFT dataset comprising 22,158 examples, each with multiple input images, an instruction, and corresponding outputs ranging from 0 to 10,000 words. Moreover, to achieve long outputs that maintain high-fidelity to the input images, we employ Direct Preference Optimization (DPO) to the SFT model. Given the high cost of collecting human feedback for lengthy outputs (e.g., 3,000 words), we propose IterDPO, which breaks long outputs into segments and uses iterative corrections to form preference pairs with the original outputs. Additionally, we develop MMLongBench-Write, a benchmark featuring six tasks to evaluate the long-generation capabilities of VLMs. Our 7B parameter model, trained with LongWriter-V-22k and IterDPO, achieves impressive performance on this benchmark, outperforming larger proprietary models like GPT-4o. Code and data: https://github.com/THU-KEG/LongWriter-V