복잡성의 렌즈를 통한 시각적 특징 의존성 이해

Understanding Visual Feature Reliance through the Lens of Complexity

July 8, 2024

저자: Thomas Fel, Louis Bethune, Andrew Kyle Lampinen, Thomas Serre, Katherine Hermann

cs.AI

초록

최근 연구들은 딥러닝 모델이 단순한 특징을 선호하는 귀납적 편향이 단축 학습(shortcut learning)의 원인 중 하나일 수 있다고 제안합니다. 그러나 모델이 학습하는 다양한 특징들의 복잡성을 이해하려는 노력은 제한적이었습니다. 본 연구에서는 V-정보(V-information)를 기반으로 특징 복잡성을 정량화하는 새로운 지표를 제안합니다. 이 지표는 특징을 추출하기 위해 복잡한 계산적 변환이 필요한지를 포착합니다. 이 V-정보 지표를 사용하여, 표준 ImageNet으로 학습된 비전 모델에서 추출된 10,000개의 특징(최종 직전 계층에서의 방향으로 표현됨)의 복잡성을 분석합니다. 우리의 연구는 네 가지 핵심 질문을 다룹니다: 첫째, 복잡성에 따른 특징의 양상을 살펴보고, 모델 내에 단순한 것부터 복잡한 것까지 다양한 스펙트럼의 특징이 존재함을 발견합니다. 둘째, 특징이 학습 과정 중 언제 학습되는지를 조사합니다. 단순한 특징은 학습 초기에 주로 나타나고, 복잡한 특징은 점진적으로 등장함을 확인합니다. 셋째, 단순 및 복잡 특징이 네트워크 내 어디에서 흐르는지를 탐구합니다. 단순한 특징은 잔차 연결(residual connections)을 통해 시각적 계층 구조를 우회하는 경향이 있음을 발견합니다. 넷째, 특징의 복잡성과 네트워크의 의사결정에서의 중요성 간의 관계를 탐색합니다. 복잡한 특징은 일반적으로 덜 중요한 경향이 있음을 확인합니다. 흥미롭게도, 중요한 특징은 학습 과정 중 더 초기 계층에서 접근 가능해지며, 이는 침전 과정과 유사하게 모델이 이러한 기초 요소를 바탕으로 구축할 수 있게 합니다.

English

Recent studies suggest that deep learning models inductive bias towards favoring simpler features may be one of the sources of shortcut learning. Yet, there has been limited focus on understanding the complexity of the myriad features that models learn. In this work, we introduce a new metric for quantifying feature complexity, based on V-information and capturing whether a feature requires complex computational transformations to be extracted. Using this V-information metric, we analyze the complexities of 10,000 features, represented as directions in the penultimate layer, that were extracted from a standard ImageNet-trained vision model. Our study addresses four key questions: First, we ask what features look like as a function of complexity and find a spectrum of simple to complex features present within the model. Second, we ask when features are learned during training. We find that simpler features dominate early in training, and more complex features emerge gradually. Third, we investigate where within the network simple and complex features flow, and find that simpler features tend to bypass the visual hierarchy via residual connections. Fourth, we explore the connection between features complexity and their importance in driving the networks decision. We find that complex features tend to be less important. Surprisingly, important features become accessible at earlier layers during training, like a sedimentation process, allowing the model to build upon these foundational elements.