Faire croître un réseau de neurones en largeur, profondeur et temps

Résumé

Les contraintes de ressources spatiales et temporelles sont cruciales tant pour les systèmes intelligents biologiques qu'artificiels. Nous définissons ici des termes de coût différentiables pour la largeur, la profondeur et le temps au sein d'un réseau neuronal convolutionnel récurrent conçu comme un sous-ensemble fini d'un réseau infini. Nous optimisons ces coûts conjointement avec les erreurs de tâche via la rétropropagation. Nous appliquons différentes pressions sur la largeur, la profondeur et le temps, ce qui conduit à l'émergence organique de graphes computationnels diversifiés au cours de l'entraînement. Nous constatons que ces trois ressources peuvent être échangées les unes contre les autres pour atteindre un niveau de précision donné. Les réseaux croissent dans les trois dimensions avec la complexité de la tâche et effectuent spontanément davantage d'étapes récurrentes lorsque les entrées sont occultées. De manière surprenante, le temps utilisé par le modèle est corrélé aux temps de réaction humains dans une tâche de reconnaissance d'objets. Notre cadre propose une explication normative de la manière dont les contraintes de ressources façonnent les architectures neuronales, en lien avec les questions sur la conception du cerveau en neurosciences, et pourrait aider à éclairer la diversité des solutions neurales observées dans la nature.

English

Spatial and temporal resource constraints are critical for both biological and artificial intelligent systems. Here we define differentiable cost terms for breadth, depth, and time within a recurrent convolutional neural network conceived as a finite subset of an infinite lattice. We optimize these costs jointly with task errors via backpropagation. We set different pressures on breadth, depth, and time, which leads to diverse computational graphs emerging organically through training. We find that all three resources can be traded off against each other to achieve a given level of accuracy. Networks grow in all three dimensions with task complexity and spontaneously take more recurrent steps when inputs are occluded. Surprisingly, time used by the model correlates with human reaction times in an object recognition task. Our framework provides a normative account of how resource constraints shape neural architectures, connecting to questions about brain design in neuroscience, and may help illuminate the diversity of neural solutions found in nature.