Propiedades Intrigantes de los Modelos de Lenguaje y Visión de Gran Tamaño

Intriguing Properties of Large Language and Vision Models

October 7, 2024

Autores: Young-Jun Lee, Byungsoo Ko, Han-Gyu Kim, Yechan Hwang, Ho-Jin Choi

cs.AI

Resumen

Recientemente, los grandes modelos de lenguaje y visión (LLVMs) han recibido una atención significativa y esfuerzos de desarrollo debido a su notable rendimiento de generalización en una amplia gama de tareas que requieren habilidades de percepción y cognitivas. Un factor clave detrás de su éxito es su arquitectura simple, que consta de un codificador de visión, un proyector y un gran modelo de lenguaje (LLM). A pesar de sus logros en tareas avanzadas de razonamiento, su rendimiento en tareas fundamentales relacionadas con la percepción (por ejemplo, MMVP) sigue siendo sorprendentemente bajo. Esta discrepancia plantea la pregunta de cómo los LLVMs realmente perciben imágenes y aprovechan las ventajas del codificador de visión. Para abordar esto, investigamos sistemáticamente esta cuestión con respecto a varios aspectos: invariancia a la permutación, robustez, razonamiento matemático, preservación y importancia del alineamiento, evaluando las familias de LLVMs más comunes (es decir, LLaVA) a través de 10 benchmarks de evaluación. Nuestros experimentos extensos revelan varias propiedades intrigantes de los LLVMs actuales: (1) procesan internamente la imagen de manera global, incluso cuando el orden de las secuencias de parches visuales se permuta aleatoriamente; (2) a veces pueden resolver problemas matemáticos sin percibir completamente la información numérica detallada; (3) el alineamiento cruzado modal está sobreajustado a tareas de razonamiento complejas, lo que les hace perder algunas de las capacidades perceptuales originales de su codificador de visión; (4) el espacio de representación en las capas inferiores (<25%) desempeña un papel crucial en determinar el rendimiento y mejorar la comprensión visual. Por último, basándonos en las observaciones anteriores, sugerimos posibles direcciones futuras para construir mejores LLVMs y desarrollar benchmarks de evaluación más desafiantes.

English

Recently, large language and vision models (LLVMs) have received significant attention and development efforts due to their remarkable generalization performance across a wide range of tasks requiring perception and cognitive abilities. A key factor behind their success is their simple architecture, which consists of a vision encoder, a projector, and a large language model (LLM). Despite their achievements in advanced reasoning tasks, their performance on fundamental perception-related tasks (e.g., MMVP) remains surprisingly low. This discrepancy raises the question of how LLVMs truly perceive images and exploit the advantages of the vision encoder. To address this, we systematically investigate this question regarding several aspects: permutation invariance, robustness, math reasoning, alignment preserving and importance, by evaluating the most common LLVM's families (i.e., LLaVA) across 10 evaluation benchmarks. Our extensive experiments reveal several intriguing properties of current LLVMs: (1) they internally process the image in a global manner, even when the order of visual patch sequences is randomly permuted; (2) they are sometimes able to solve math problems without fully perceiving detailed numerical information; (3) the cross-modal alignment is overfitted to complex reasoning tasks, thereby, causing them to lose some of the original perceptual capabilities of their vision encoder; (4) the representation space in the lower layers (<25%) plays a crucial role in determining performance and enhancing visual understanding. Lastly, based on the above observations, we suggest potential future directions for building better LLVMs and constructing more challenging evaluation benchmarks.