LongWriter-V: Обеспечение сверхдлинной и высококачественной генерации в моделях, объединяющих зрение и язык

LongWriter-V: Enabling Ultra-Long and High-Fidelity Generation in Vision-Language Models

February 20, 2025

Авторы: Shangqing Tu, Yucheng Wang, Daniel Zhang-Li, Yushi Bai, Jifan Yu, Yuhao Wu, Lei Hou, Huiqin Liu, Zhiyuan Liu, Bin Xu, Juanzi Li

cs.AI

Аннотация

Существующие крупные модели обработки зрения и языка (LVLMs) способны обрабатывать входные данные с длиной контекста до 128 тысяч визуальных и текстовых токенов, однако они испытывают трудности с генерацией связных текстов, превышающих 1000 слов. Мы обнаружили, что основное ограничение заключается в отсутствии примеров длинных выходных данных в процессе контролируемой тонкой настройки (SFT). Для решения этой проблемы мы представляем LongWriter-V-22k — набор данных для SFT, содержащий 22 158 примеров, каждый из которых включает несколько входных изображений, инструкцию и соответствующие выходные данные длиной от 0 до 10 000 слов. Кроме того, для достижения длинных выходных данных, сохраняющих высокую точность по отношению к входным изображениям, мы применяем оптимизацию прямых предпочтений (DPO) к модели, прошедшей SFT. Учитывая высокую стоимость сбора человеческой обратной связи для длинных выходных данных (например, 3000 слов), мы предлагаем IterDPO, который разбивает длинные выходные данные на сегменты и использует итеративные исправления для формирования пар предпочтений с исходными выходами. Дополнительно мы разработали MMLongBench-Write — бенчмарк, включающий шесть задач для оценки способностей моделей обработки зрения и языка (VLMs) к длинной генерации. Наша модель с 7 миллиардами параметров, обученная на LongWriter-V-22k и IterDPO, демонстрирует впечатляющие результаты на этом бенчмарке, превосходя более крупные проприетарные модели, такие как GPT-4o. Код и данные доступны по ссылке: https://github.com/THU-KEG/LongWriter-V.

English

Existing Large Vision-Language Models (LVLMs) can process inputs with context lengths up to 128k visual and text tokens, yet they struggle to generate coherent outputs beyond 1,000 words. We find that the primary limitation is the absence of long output examples during supervised fine-tuning (SFT). To tackle this issue, we introduce LongWriter-V-22k, a SFT dataset comprising 22,158 examples, each with multiple input images, an instruction, and corresponding outputs ranging from 0 to 10,000 words. Moreover, to achieve long outputs that maintain high-fidelity to the input images, we employ Direct Preference Optimization (DPO) to the SFT model. Given the high cost of collecting human feedback for lengthy outputs (e.g., 3,000 words), we propose IterDPO, which breaks long outputs into segments and uses iterative corrections to form preference pairs with the original outputs. Additionally, we develop MMLongBench-Write, a benchmark featuring six tasks to evaluate the long-generation capabilities of VLMs. Our 7B parameter model, trained with LongWriter-V-22k and IterDPO, achieves impressive performance on this benchmark, outperforming larger proprietary models like GPT-4o. Code and data: https://github.com/THU-KEG/LongWriter-V