Propriedades Intrigantes de Modelos de Linguagem e Visão de Grande Escala

Intriguing Properties of Large Language and Vision Models

October 7, 2024

Autores: Young-Jun Lee, Byungsoo Ko, Han-Gyu Kim, Yechan Hwang, Ho-Jin Choi

cs.AI

Resumo

Recentemente, os grandes modelos de linguagem e visão (LLVMs) têm recebido significativa atenção e esforços de desenvolvimento devido ao seu notável desempenho de generalização em uma ampla gama de tarefas que exigem habilidades de percepção e cognitivas. Um fator-chave por trás de seu sucesso é a sua arquitetura simples, que consiste em um codificador de visão, um projetor e um grande modelo de linguagem (LLM). Apesar de suas conquistas em tarefas avançadas de raciocínio, seu desempenho em tarefas fundamentais relacionadas à percepção (por exemplo, MMVP) permanece surpreendentemente baixo. Essa discrepância levanta a questão de como os LLVMs realmente percebem imagens e exploram as vantagens do codificador de visão. Para abordar isso, investigamos sistematicamente essa questão em relação a vários aspectos: invariância de permutação, robustez, raciocínio matemático, preservação e importância de alinhamento, avaliando as famílias mais comuns de LLVMs (ou seja, LLaVA) em 10 benchmarks de avaliação. Nossos experimentos extensivos revelam várias propriedades intrigantes dos LLVMs atuais: (1) eles processam internamente a imagem de maneira global, mesmo quando a ordem das sequências de patches visuais é permutada aleatoriamente; (2) às vezes são capazes de resolver problemas matemáticos sem perceber totalmente informações numéricas detalhadas; (3) o alinhamento cruzado modal é superajustado a tarefas de raciocínio complexas, fazendo com que percam algumas das capacidades perceptuais originais de seu codificador de visão; (4) o espaço de representação nas camadas inferiores (<25%) desempenha um papel crucial na determinação do desempenho e no aprimoramento da compreensão visual. Por fim, com base nas observações acima, sugerimos direções futuras potenciais para a construção de LLVMs melhores e a criação de benchmarks de avaliação mais desafiadores.

English

Recently, large language and vision models (LLVMs) have received significant attention and development efforts due to their remarkable generalization performance across a wide range of tasks requiring perception and cognitive abilities. A key factor behind their success is their simple architecture, which consists of a vision encoder, a projector, and a large language model (LLM). Despite their achievements in advanced reasoning tasks, their performance on fundamental perception-related tasks (e.g., MMVP) remains surprisingly low. This discrepancy raises the question of how LLVMs truly perceive images and exploit the advantages of the vision encoder. To address this, we systematically investigate this question regarding several aspects: permutation invariance, robustness, math reasoning, alignment preserving and importance, by evaluating the most common LLVM's families (i.e., LLaVA) across 10 evaluation benchmarks. Our extensive experiments reveal several intriguing properties of current LLVMs: (1) they internally process the image in a global manner, even when the order of visual patch sequences is randomly permuted; (2) they are sometimes able to solve math problems without fully perceiving detailed numerical information; (3) the cross-modal alignment is overfitted to complex reasoning tasks, thereby, causing them to lose some of the original perceptual capabilities of their vision encoder; (4) the representation space in the lower layers (<25%) plays a crucial role in determining performance and enhancing visual understanding. Lastly, based on the above observations, we suggest potential future directions for building better LLVMs and constructing more challenging evaluation benchmarks.