NVILA: Modelos de Lenguaje Visual de Frontera Eficientes

NVILA: Efficient Frontier Visual Language Models

December 5, 2024

Autores: Zhijian Liu, Ligeng Zhu, Baifeng Shi, Zhuoyang Zhang, Yuming Lou, Shang Yang, Haocheng Xi, Shiyi Cao, Yuxian Gu, Dacheng Li, Xiuyu Li, Yunhao Fang, Yukang Chen, Cheng-Yu Hsieh, De-An Huang, An-Chieh Cheng, Vishwesh Nath, Jinyi Hu, Sifei Liu, Ranjay Krishna, Daguang Xu, Xiaolong Wang, Pavlo Molchanov, Jan Kautz, Hongxu Yin, Song Han, Yao Lu

cs.AI

Resumen

Los modelos de lenguaje visual (VLMs) han logrado avances significativos en precisión en los últimos años. Sin embargo, su eficiencia ha recibido mucha menos atención. Este artículo presenta NVILA, una familia de VLMs abiertos diseñados para optimizar tanto la eficiencia como la precisión. Basándonos en VILA, mejoramos su arquitectura de modelo escalando primero las resoluciones espaciales y temporales, y luego comprimiendo los tokens visuales. Este enfoque de "escalar y luego comprimir" permite a NVILA procesar eficientemente imágenes de alta resolución y videos largos. También realizamos una investigación sistemática para mejorar la eficiencia de NVILA a lo largo de todo su ciclo de vida, desde el entrenamiento y ajuste fino hasta la implementación. NVILA iguala o supera la precisión de muchos de los principales VLMs abiertos y propietarios en una amplia gama de pruebas de imágenes y videos. Al mismo tiempo, reduce los costos de entrenamiento en 4.5 veces, el uso de memoria para ajuste fino en 3.4 veces, la latencia de pre-llenado en 1.6-2.2 veces, y la latencia de decodificación en 1.2-2.8 veces. Pronto pondremos nuestro código y modelos a disposición para facilitar la reproducibilidad.

English

Visual language models (VLMs) have made significant advances in accuracy in recent years. However, their efficiency has received much less attention. This paper introduces NVILA, a family of open VLMs designed to optimize both efficiency and accuracy. Building on top of VILA, we improve its model architecture by first scaling up the spatial and temporal resolutions, and then compressing visual tokens. This "scale-then-compress" approach enables NVILA to efficiently process high-resolution images and long videos. We also conduct a systematic investigation to enhance the efficiency of NVILA throughout its entire lifecycle, from training and fine-tuning to deployment. NVILA matches or surpasses the accuracy of many leading open and proprietary VLMs across a wide range of image and video benchmarks. At the same time, it reduces training costs by 4.5X, fine-tuning memory usage by 3.4X, pre-filling latency by 1.6-2.2X, and decoding latency by 1.2-2.8X. We will soon make our code and models available to facilitate reproducibility.