Een neuraal netwerk laten groeien in breedte, diepte en tijd

Samenvatting

Ruimtelijke en temporele resourcebeperkingen zijn cruciaal voor zowel biologische als kunstmatige intelligente systemen. Hier definiëren we differentieerbare kostentermen voor breedte, diepte en tijd binnen een recurrent convolutioneel neuraal netwerk, opgevat als een eindige deelverzameling van een oneindig rooster. We optimaliseren deze kosten gezamenlijk met taakfouten via backpropagatie. We leggen verschillende drukken op breedte, diepte en tijd, wat leidt tot uiteenlopende computatiegrafen die organisch ontstaan tijdens training. We vinden dat alle drie de resources tegen elkaar kunnen worden uitgeruild om een bepaald nauwkeurigheidsniveau te bereiken. Netwerken groeien in alle drie de dimensies met taakcomplexiteit en ondernemen spontaan meer recurrente stappen wanneer invoer wordt geoccludeerd. Verrassend genoeg correleert de tijd die het model gebruikt met menselijke reactietijden in een objectherkenningstaak. Ons raamwerk biedt een normatieve verklaring van hoe resourcebeperkingen neurale architecturen vormgeven, wat aansluit bij vragen over hersenontwerp in de neurowetenschappen, en kan helpen de diversiteit van neurale oplossingen in de natuur te verhelderen.

English

Spatial and temporal resource constraints are critical for both biological and artificial intelligent systems. Here we define differentiable cost terms for breadth, depth, and time within a recurrent convolutional neural network conceived as a finite subset of an infinite lattice. We optimize these costs jointly with task errors via backpropagation. We set different pressures on breadth, depth, and time, which leads to diverse computational graphs emerging organically through training. We find that all three resources can be traded off against each other to achieve a given level of accuracy. Networks grow in all three dimensions with task complexity and spontaneously take more recurrent steps when inputs are occluded. Surprisingly, time used by the model correlates with human reaction times in an object recognition task. Our framework provides a normative account of how resource constraints shape neural architectures, connecting to questions about brain design in neuroscience, and may help illuminate the diversity of neural solutions found in nature.