Das Verständnis der visuellen Merkmalsabhängigkeit im Kontext der Komplexität

Understanding Visual Feature Reliance through the Lens of Complexity

July 8, 2024

Autoren: Thomas Fel, Louis Bethune, Andrew Kyle Lampinen, Thomas Serre, Katherine Hermann

cs.AI

Zusammenfassung

Neueste Studien legen nahe, dass der induktive Bias von Deep-Learning-Modellen zugunsten einfacherer Merkmale eine der Ursachen für Shortcut-Learning sein könnte. Dennoch wurde bisher wenig Wert darauf gelegt, die Komplexität der zahlreichen Merkmale zu verstehen, die Modelle erlernen. In dieser Arbeit führen wir eine neue Metrik zur Quantifizierung der Merkmalskomplexität ein, basierend auf V-Informationen, die erfasst, ob ein Merkmal komplexe Rechentransformationen erfordert, um extrahiert zu werden. Unter Verwendung dieser V-Informationsmetrik analysieren wir die Komplexitäten von 10.000 Merkmalen, die als Richtungen in der vorletzten Schicht dargestellt sind und aus einem standardmäßig mit ImageNet trainierten Vision-Modell extrahiert wurden. Unsere Studie behandelt vier Schlüsselfragen: Erstens untersuchen wir, wie Merkmale in Abhängigkeit von ihrer Komplexität aussehen und finden ein Spektrum von einfachen bis komplexen Merkmalen innerhalb des Modells. Zweitens untersuchen wir, wann Merkmale während des Trainings erlernt werden. Wir stellen fest, dass einfachere Merkmale zu Beginn des Trainings dominieren und komplexere Merkmale allmählich auftauchen. Drittens untersuchen wir, wohin im Netzwerk einfache und komplexe Merkmale fließen, und stellen fest, dass einfachere Merkmale die visuelle Hierarchie über Restverbindungen umgehen. Viertens erforschen wir den Zusammenhang zwischen Merkmalskomplexität und ihrer Bedeutung für die Entscheidungsfindung des Netzwerks. Wir stellen fest, dass komplexe Merkmale tendenziell weniger wichtig sind. Überraschenderweise werden wichtige Merkmale während des Trainings in früheren Schichten zugänglich, ähnlich einem Sedimentationsprozess, der es dem Modell ermöglicht, auf diesen grundlegenden Elementen aufzubauen.

English

Recent studies suggest that deep learning models inductive bias towards favoring simpler features may be one of the sources of shortcut learning. Yet, there has been limited focus on understanding the complexity of the myriad features that models learn. In this work, we introduce a new metric for quantifying feature complexity, based on V-information and capturing whether a feature requires complex computational transformations to be extracted. Using this V-information metric, we analyze the complexities of 10,000 features, represented as directions in the penultimate layer, that were extracted from a standard ImageNet-trained vision model. Our study addresses four key questions: First, we ask what features look like as a function of complexity and find a spectrum of simple to complex features present within the model. Second, we ask when features are learned during training. We find that simpler features dominate early in training, and more complex features emerge gradually. Third, we investigate where within the network simple and complex features flow, and find that simpler features tend to bypass the visual hierarchy via residual connections. Fourth, we explore the connection between features complexity and their importance in driving the networks decision. We find that complex features tend to be less important. Surprisingly, important features become accessible at earlier layers during training, like a sedimentation process, allowing the model to build upon these foundational elements.