NVILA: Эффективные модели визуального языка Frontier

NVILA: Efficient Frontier Visual Language Models

December 5, 2024

Авторы: Zhijian Liu, Ligeng Zhu, Baifeng Shi, Zhuoyang Zhang, Yuming Lou, Shang Yang, Haocheng Xi, Shiyi Cao, Yuxian Gu, Dacheng Li, Xiuyu Li, Yunhao Fang, Yukang Chen, Cheng-Yu Hsieh, De-An Huang, An-Chieh Cheng, Vishwesh Nath, Jinyi Hu, Sifei Liu, Ranjay Krishna, Daguang Xu, Xiaolong Wang, Pavlo Molchanov, Jan Kautz, Hongxu Yin, Song Han, Yao Lu

cs.AI

Аннотация

Визуальные языковые модели (VLM) в последние годы значительно продвинулись в точности. Однако их эффективность получила гораздо меньше внимания. В данной статье представлена NVILA, семейство открытых VLM, разработанных для оптимизации как эффективности, так и точности. На основе VILA мы улучшаем его архитектуру модели, сначала увеличивая пространственное и временное разрешение, а затем сжимая визуальные токены. Этот подход "увеличить-затем-сжать" позволяет NVILA эффективно обрабатывать изображения высокого разрешения и длинные видео. Мы также проводим систематическое исследование для улучшения эффективности NVILA на протяжении всего ее жизненного цикла, начиная с обучения и до настройки. NVILA соответствует или превосходит точность многих ведущих открытых и закрытых VLM на широком спектре бенчмарков изображений и видео. В то же время она снижает затраты на обучение в 4,5 раза, использование памяти при настройке в 3,4 раза, задержку предварительной загрузки в 1,6-2,2 раза и задержку декодирования в 1,2-2,8 раза. Мы скоро опубликуем наш код и модели для обеспечения воспроизводимости.

English

Visual language models (VLMs) have made significant advances in accuracy in recent years. However, their efficiency has received much less attention. This paper introduces NVILA, a family of open VLMs designed to optimize both efficiency and accuracy. Building on top of VILA, we improve its model architecture by first scaling up the spatial and temporal resolutions, and then compressing visual tokens. This "scale-then-compress" approach enables NVILA to efficiently process high-resolution images and long videos. We also conduct a systematic investigation to enhance the efficiency of NVILA throughout its entire lifecycle, from training and fine-tuning to deployment. NVILA matches or surpasses the accuracy of many leading open and proprietary VLMs across a wide range of image and video benchmarks. At the same time, it reduces training costs by 4.5X, fine-tuning memory usage by 3.4X, pre-filling latency by 1.6-2.2X, and decoding latency by 1.2-2.8X. We will soon make our code and models available to facilitate reproducibility.