PPLLaVA: Разнообразное понимание видеопоследовательностей с руководством по подсказкам

PPLLaVA: Varied Video Sequence Understanding With Prompt Guidance

November 4, 2024

Авторы: Ruyang Liu, Haoran Tang, Haibo Liu, Yixiao Ge, Ying Shan, Chen Li, Jiankun Yang

cs.AI

Аннотация

Прошедший год стал свидетелем значительного прогресса в области моделей языка на основе видео. Однако остается нерешенной проблема разработки объединенной модели для понимания как коротких, так и длинных видео. Большинство существующих видео LLM не способны обрабатывать видео продолжительностью в час, в то время как методы, предназначенные для длинных видео, часто оказываются неэффективными для коротких видео и изображений. В данной статье мы выделяем ключевую проблему в избыточном контенте в видео. Для решения этой проблемы мы предлагаем новую стратегию пулинга, которая одновременно обеспечивает сжатие токенов и агрегацию визуальных признаков, осведомленных о инструкциях. Наша модель называется PPLLaVA (Prompt-guided Pooling LLaVA). Конкретно, PPLLaVA состоит из трех основных компонентов: выравнивание визуальных подсказок на основе CLIP, которое извлекает визуальную информацию, соответствующую инструкциям пользователя, пулинг, направляемый подсказками, который сжимает визуальную последовательность до произвольных масштабов с использованием пулинга в стиле свертки, и расширение контекста клипа, предназначенное для длинных подсказок, типичных для визуального диалога. Более того, наш код также интегрирует самые передовые методы оптимизации прямых предпочтений (DPO) для видео и визуальное переплетение обучения. Обширные эксперименты подтвердили производительность нашей модели. Обладая высокой пропускной способностью и всего 1024 визуальными контекстами, PPLLaVA достигает лучших результатов на изображениях как видео LLM, обеспечивая при этом передовую производительность на различных видео-тестах, превосходя в задачах от генерации подписей до вопросов с множественным выбором и обрабатывая видео продолжительностью от секунд до часов. Код доступен по ссылке https://github.com/farewellthree/PPLLaVA.

English

The past year has witnessed the significant advancement of video-based large language models. However, the challenge of developing a unified model for both short and long video understanding remains unresolved. Most existing video LLMs cannot handle hour-long videos, while methods custom for long videos tend to be ineffective for shorter videos and images. In this paper, we identify the key issue as the redundant content in videos. To address this, we propose a novel pooling strategy that simultaneously achieves token compression and instruction-aware visual feature aggregation. Our model is termed Prompt-guided Pooling LLaVA, or PPLLaVA for short. Specifically, PPLLaVA consists of three core components: the CLIP-based visual-prompt alignment that extracts visual information relevant to the user's instructions, the prompt-guided pooling that compresses the visual sequence to arbitrary scales using convolution-style pooling, and the clip context extension designed for lengthy prompt common in visual dialogue. Moreover, our codebase also integrates the most advanced video Direct Preference Optimization (DPO) and visual interleave training. Extensive experiments have validated the performance of our model. With superior throughput and only 1024 visual context, PPLLaVA achieves better results on image benchmarks as a video LLM, while achieving state-of-the-art performance across various video benchmarks, excelling in tasks ranging from caption generation to multiple-choice questions, and handling video lengths from seconds to hours. Codes have been available at https://github.com/farewellthree/PPLLaVA.