LongWriter-V: Abilitazione di Generazione Ultra-Lunga e ad Alta Fedeltà nei Modelli Visione-Linguaggio

LongWriter-V: Enabling Ultra-Long and High-Fidelity Generation in Vision-Language Models

February 20, 2025

Autori: Shangqing Tu, Yucheng Wang, Daniel Zhang-Li, Yushi Bai, Jifan Yu, Yuhao Wu, Lei Hou, Huiqin Liu, Zhiyuan Liu, Bin Xu, Juanzi Li

cs.AI

Abstract

I modelli esistenti di grandi dimensioni per la visione e il linguaggio (LVLM) sono in grado di elaborare input con contesti fino a 128k token visivi e testuali, ma faticano a generare output coerenti oltre le 1.000 parole. Abbiamo riscontrato che la limitazione principale è l'assenza di esempi di output lunghi durante la messa a punto supervisionata (SFT). Per affrontare questo problema, introduciamo LongWriter-V-22k, un dataset SFT composto da 22.158 esempi, ciascuno con più immagini di input, un'istruzione e output corrispondenti che vanno da 0 a 10.000 parole. Inoltre, per ottenere output lunghi che mantengano un'elevata fedeltà alle immagini di input, applichiamo l'ottimizzazione diretta delle preferenze (DPO) al modello SFT. Considerando l'elevato costo della raccolta di feedback umani per output lunghi (ad esempio, 3.000 parole), proponiamo IterDPO, che suddivide gli output lunghi in segmenti e utilizza correzioni iterative per formare coppie di preferenze con gli output originali. Inoltre, sviluppiamo MMLongBench-Write, un benchmark che include sei task per valutare le capacità di generazione lunga dei modelli VL. Il nostro modello da 7B parametri, addestrato con LongWriter-V-22k e IterDPO, ottiene prestazioni impressionanti su questo benchmark, superando modelli proprietari più grandi come GPT-4o. Codice e dati: https://github.com/THU-KEG/LongWriter-V

English

Existing Large Vision-Language Models (LVLMs) can process inputs with context lengths up to 128k visual and text tokens, yet they struggle to generate coherent outputs beyond 1,000 words. We find that the primary limitation is the absence of long output examples during supervised fine-tuning (SFT). To tackle this issue, we introduce LongWriter-V-22k, a SFT dataset comprising 22,158 examples, each with multiple input images, an instruction, and corresponding outputs ranging from 0 to 10,000 words. Moreover, to achieve long outputs that maintain high-fidelity to the input images, we employ Direct Preference Optimization (DPO) to the SFT model. Given the high cost of collecting human feedback for lengthy outputs (e.g., 3,000 words), we propose IterDPO, which breaks long outputs into segments and uses iterative corrections to form preference pairs with the original outputs. Additionally, we develop MMLongBench-Write, a benchmark featuring six tasks to evaluate the long-generation capabilities of VLMs. Our 7B parameter model, trained with LongWriter-V-22k and IterDPO, achieves impressive performance on this benchmark, outperforming larger proprietary models like GPT-4o. Code and data: https://github.com/THU-KEG/LongWriter-V