Wachstum eines neuronalen Netzes in Breite, Tiefe und Zeit

Zusammenfassung

Räumliche und zeitliche Ressourcenbeschränkungen sind sowohl für biologische als auch für künstliche intelligente Systeme von entscheidender Bedeutung. Hier definieren wir differenzierbare Kostenbegriffe für Breite, Tiefe und Zeit innerhalb eines rekurrenten konvolutionellen neuronalen Netzes, das als endliche Teilmenge eines unendlichen Gitters konzipiert ist. Diese Kosten optimieren wir gemeinsam mit Aufgabenfehlern mittels Rückpropagation. Wir setzen unterschiedliche Druckwerte auf Breite, Tiefe und Zeit, was dazu führt, dass durch das Training organisch verschiedene Berechnungsgraphen entstehen. Wir stellen fest, dass alle drei Ressourcen gegeneinander abgewogen werden können, um ein gegebenes Genauigkeitsniveau zu erreichen. Mit der Aufgabenkomplexität wachsen die Netze in allen drei Dimensionen und führen spontan mehr rekurrente Schritte aus, wenn Eingaben verdeckt sind. Überraschenderweise korreliert die vom Modell genutzte Zeit mit menschlichen Reaktionszeiten bei einer Objekterkennungsaufgabe. Unser Rahmenwerk bietet einen normativen Bericht darüber, wie Ressourcenbeschränkungen neuronale Architekturen formen, verbindet dies mit Fragen zur Gehirnarchitektur in den Neurowissenschaften und könnte dazu beitragen, die Vielfalt der in der Natur vorkommenden neuronalen Lösungen zu beleuchten.

English

Spatial and temporal resource constraints are critical for both biological and artificial intelligent systems. Here we define differentiable cost terms for breadth, depth, and time within a recurrent convolutional neural network conceived as a finite subset of an infinite lattice. We optimize these costs jointly with task errors via backpropagation. We set different pressures on breadth, depth, and time, which leads to diverse computational graphs emerging organically through training. We find that all three resources can be traded off against each other to achieve a given level of accuracy. Networks grow in all three dimensions with task complexity and spontaneously take more recurrent steps when inputs are occluded. Surprisingly, time used by the model correlates with human reaction times in an object recognition task. Our framework provides a normative account of how resource constraints shape neural architectures, connecting to questions about brain design in neuroscience, and may help illuminate the diversity of neural solutions found in nature.