대형 언어 및 시각 모델의 흥미로운 특성

Intriguing Properties of Large Language and Vision Models

October 7, 2024

저자: Young-Jun Lee, Byungsoo Ko, Han-Gyu Kim, Yechan Hwang, Ho-Jin Choi

cs.AI

초록

최근에는 대형 언어 및 시각 모델(LLVMs)이 지각 및 인지 능력을 필요로 하는 다양한 작업에 걸쳐 높은 일반화 성능을 보여줘 주어 주목을 받고 있으며 개발 노력이 집중되고 있습니다. 그들의 성공 behind에는 간단한 아키텍처로 구성된 시각 인코더, 프로젝터 및 대형 언어 모델(LLM)이 있습니다. 고급 추론 작업에서의 성과에도 불구하고, 그들의 기본적인 지각 관련 작업(e.g., MMVP)에서의 성능은 놀랍게도 낮습니다. 이러한 불일치는 LLVMs가 이미지를 어떻게 실제로 인식하고 시각 인코더의 장점을 활용하는지에 대한 의문을 제기합니다. 이를 해결하기 위해 우리는 순열 불변성, 강건성, 수학 추론, 정렬 보존 및 중요성과 같은 여러 측면에 대해 이 질문을 체계적으로 조사하고 가장 일반적인 LLVMs 패밀리(i.e., LLaVA)를 10개의 평가 벤치마크를 통해 평가함으로써 현재의 LLVMs의 여러 흥미로운 특성을 밝혀내었습니다. (1) 이미지를 내부적으로 전역적으로 처리하며 시각 패치 순서가 무작위로 순열되어도; (2) 때로는 상세한 숫자 정보를 완전히 인식하지 않고도 수학 문제를 해결할 수 있습니다; (3) 교차 모달 정렬은 복잡한 추론 작업에 과적합되어 시각 인코더의 원래 지각 능력 중 일부를 상실하게 합니다; (4) 하위 레이어(<25%)의 표현 공간은 성능을 결정하고 시각적 이해를 향상시키는 데 중요한 역할을 합니다. 마지막으로 위 관찰을 바탕으로, 더 나은 LLVMs를 구축하고 더 도전적인 평가 벤치마크를 구축하기 위한 잠재적인 미래 방향을 제안합니다.

English

Recently, large language and vision models (LLVMs) have received significant attention and development efforts due to their remarkable generalization performance across a wide range of tasks requiring perception and cognitive abilities. A key factor behind their success is their simple architecture, which consists of a vision encoder, a projector, and a large language model (LLM). Despite their achievements in advanced reasoning tasks, their performance on fundamental perception-related tasks (e.g., MMVP) remains surprisingly low. This discrepancy raises the question of how LLVMs truly perceive images and exploit the advantages of the vision encoder. To address this, we systematically investigate this question regarding several aspects: permutation invariance, robustness, math reasoning, alignment preserving and importance, by evaluating the most common LLVM's families (i.e., LLaVA) across 10 evaluation benchmarks. Our extensive experiments reveal several intriguing properties of current LLVMs: (1) they internally process the image in a global manner, even when the order of visual patch sequences is randomly permuted; (2) they are sometimes able to solve math problems without fully perceiving detailed numerical information; (3) the cross-modal alignment is overfitted to complex reasoning tasks, thereby, causing them to lose some of the original perceptual capabilities of their vision encoder; (4) the representation space in the lower layers (<25%) plays a crucial role in determining performance and enhancing visual understanding. Lastly, based on the above observations, we suggest potential future directions for building better LLVMs and constructing more challenging evaluation benchmarks.