LongWriter-V : Permettant une génération ultra-longue et haute fidélité dans les modèles vision-langage

LongWriter-V: Enabling Ultra-Long and High-Fidelity Generation in Vision-Language Models

February 20, 2025

Auteurs: Shangqing Tu, Yucheng Wang, Daniel Zhang-Li, Yushi Bai, Jifan Yu, Yuhao Wu, Lei Hou, Huiqin Liu, Zhiyuan Liu, Bin Xu, Juanzi Li

cs.AI

Résumé

Les modèles de vision-langage de grande taille (LVLMs) existants peuvent traiter des entrées avec des contextes allant jusqu'à 128k tokens visuels et textuels, mais ils peinent à générer des sorties cohérentes dépassant 1 000 mots. Nous constatons que la principale limitation réside dans l'absence d'exemples de sorties longues lors du réglage fin supervisé (SFT). Pour résoudre ce problème, nous introduisons LongWriter-V-22k, un ensemble de données SFT comprenant 22 158 exemples, chacun avec plusieurs images d'entrée, une instruction et des sorties correspondantes allant de 0 à 10 000 mots. De plus, pour obtenir des sorties longues qui restent fidèles aux images d'entrée, nous appliquons l'Optimisation Directe des Préférences (DPO) au modèle SFT. Étant donné le coût élevé de la collecte de retours humains pour des sorties longues (par exemple, 3 000 mots), nous proposons IterDPO, qui découpe les sorties longues en segments et utilise des corrections itératives pour former des paires de préférences avec les sorties originales. Par ailleurs, nous développons MMLongBench-Write, un benchmark comprenant six tâches pour évaluer les capacités de génération longue des modèles de vision-langage (VLMs). Notre modèle de 7B paramètres, entraîné avec LongWriter-V-22k et IterDPO, obtient des performances impressionnantes sur ce benchmark, surpassant des modèles propriétaires plus grands comme GPT-4o. Code et données : https://github.com/THU-KEG/LongWriter-V

English

Existing Large Vision-Language Models (LVLMs) can process inputs with context lengths up to 128k visual and text tokens, yet they struggle to generate coherent outputs beyond 1,000 words. We find that the primary limitation is the absence of long output examples during supervised fine-tuning (SFT). To tackle this issue, we introduce LongWriter-V-22k, a SFT dataset comprising 22,158 examples, each with multiple input images, an instruction, and corresponding outputs ranging from 0 to 10,000 words. Moreover, to achieve long outputs that maintain high-fidelity to the input images, we employ Direct Preference Optimization (DPO) to the SFT model. Given the high cost of collecting human feedback for lengthy outputs (e.g., 3,000 words), we propose IterDPO, which breaks long outputs into segments and uses iterative corrections to form preference pairs with the original outputs. Additionally, we develop MMLongBench-Write, a benchmark featuring six tasks to evaluate the long-generation capabilities of VLMs. Our 7B parameter model, trained with LongWriter-V-22k and IterDPO, achieves impressive performance on this benchmark, outperforming larger proprietary models like GPT-4o. Code and data: https://github.com/THU-KEG/LongWriter-V