SlowFast-LLaVA: Надежная базовая модель без обучения для крупных языковых моделей видео.

SlowFast-LLaVA: A Strong Training-Free Baseline for Video Large Language Models

July 22, 2024

Авторы: Mingze Xu, Mingfei Gao, Zhe Gan, Hong-You Chen, Zhengfeng Lai, Haiming Gang, Kai Kang, Afshin Dehghan

cs.AI

Аннотация

Мы предлагаем SlowFast-LLaVA (или SF-LLaVA в кратком виде), модель обучения без обучения для видео большой языковой модели (LLM), которая может одновременно улавливать детальную пространственную семантику и долгосрочный временной контекст, не превышая бюджет токенов обычно используемых LLM. Это достигается путем использования двухпоточного медленного и быстрого дизайна входов для видео LLM для эффективной агрегации функций из выбранных видеокадров. Конкретно, медленный путь извлекает функции с низкой частотой кадров, сохраняя максимальное количество пространственных деталей (например, с 24x24 токенами), а быстрый путь работает с высокой частотой кадров, но использует больший пространственный шаг пулинга (например, дискретизация 6x) для фокусировки на движущихся подсказках. В результате этот дизайн позволяет нам адекватно улавливать как пространственные, так и временные функции, которые полезны для понимания деталей вдоль видео. Экспериментальные результаты показывают, что SF-LLaVA превосходит существующие методы обучения без обучения на широком спектре видеозадач. На некоторых бенчмарках он достигает сопоставимой или даже лучшей производительности по сравнению с передовыми видео LLM, которые донастраиваются на видео наборах данных.

English

We propose SlowFast-LLaVA (or SF-LLaVA for short), a training-free video large language model (LLM) that can jointly capture the detailed spatial semantics and long-range temporal context without exceeding the token budget of commonly used LLMs. This is realized by using a two-stream SlowFast design of inputs for Video LLMs to aggregate features from sampled video frames in an effective way. Specifically, the Slow pathway extracts features at a low frame rate while keeping as many spatial details as possible (e.g., with 24x24 tokens), and the Fast pathway operates on a high frame rate but uses a larger spatial pooling stride (e.g., downsampling 6x) to focus on the motion cues. As a result, this design allows us to adequately capture both spatial and temporal features that are beneficial for understanding details along the video. Experimental results show that SF-LLaVA outperforms existing training-free methods on a wide range of video tasks. On some benchmarks, it achieves comparable or even better performance compared to state-of-the-art Video LLMs that are fine-tuned on video datasets.