LongWriter-V: Het mogelijk maken van ultra-lange en hoogwaardige generatie in visie-taalmodellen

LongWriter-V: Enabling Ultra-Long and High-Fidelity Generation in Vision-Language Models

February 20, 2025

Auteurs: Shangqing Tu, Yucheng Wang, Daniel Zhang-Li, Yushi Bai, Jifan Yu, Yuhao Wu, Lei Hou, Huiqin Liu, Zhiyuan Liu, Bin Xu, Juanzi Li

cs.AI

Samenvatting

Bestaande Large Vision-Language Models (LVLMs) kunnen inputs verwerken met contextlengtes tot 128k visuele en tekstuele tokens, maar ze hebben moeite om samenhangende outputs te genereren die langer zijn dan 1.000 woorden. We constateren dat de primaire beperking het ontbreken van lange outputvoorbeelden is tijdens supervised fine-tuning (SFT). Om dit probleem aan te pakken, introduceren we LongWriter-V-22k, een SFT-dataset bestaande uit 22.158 voorbeelden, elk met meerdere inputafbeeldingen, een instructie en bijbehorende outputs variërend van 0 tot 10.000 woorden. Bovendien gebruiken we Direct Preference Optimization (DPO) op het SFT-model om lange outputs te bereiken die een hoge trouw aan de inputafbeeldingen behouden. Gezien de hoge kosten van het verzamelen van menselijke feedback voor lange outputs (bijvoorbeeld 3.000 woorden), stellen we IterDPO voor, dat lange outputs in segmenten opbreekt en iteratieve correcties gebruikt om voorkeursparen te vormen met de originele outputs. Daarnaast ontwikkelen we MMLongBench-Write, een benchmark met zes taken om de langgeneratiecapaciteiten van VLMs te evalueren. Ons 7B-parametermodel, getraind met LongWriter-V-22k en IterDPO, behaalt indrukwekkende prestaties op deze benchmark en overtreft grotere propriëtaire modellen zoals GPT-4o. Code en data: https://github.com/THU-KEG/LongWriter-V

English

Existing Large Vision-Language Models (LVLMs) can process inputs with context lengths up to 128k visual and text tokens, yet they struggle to generate coherent outputs beyond 1,000 words. We find that the primary limitation is the absence of long output examples during supervised fine-tuning (SFT). To tackle this issue, we introduce LongWriter-V-22k, a SFT dataset comprising 22,158 examples, each with multiple input images, an instruction, and corresponding outputs ranging from 0 to 10,000 words. Moreover, to achieve long outputs that maintain high-fidelity to the input images, we employ Direct Preference Optimization (DPO) to the SFT model. Given the high cost of collecting human feedback for lengthy outputs (e.g., 3,000 words), we propose IterDPO, which breaks long outputs into segments and uses iterative corrections to form preference pairs with the original outputs. Additionally, we develop MMLongBench-Write, a benchmark featuring six tasks to evaluate the long-generation capabilities of VLMs. Our 7B parameter model, trained with LongWriter-V-22k and IterDPO, achieves impressive performance on this benchmark, outperforming larger proprietary models like GPT-4o. Code and data: https://github.com/THU-KEG/LongWriter-V