Creciendo una red neuronal en anchura, profundidad y tiempo

Resumen

Las restricciones de recursos espaciales y temporales son fundamentales tanto para los sistemas inteligentes biológicos como artificiales. Aquí definimos términos de costo diferenciables para la anchura, profundidad y tiempo dentro de una red neuronal convolucional recurrente concebida como un subconjunto finito de un retículo infinito. Optimizamos estos costos de manera conjunta con los errores de la tarea mediante retropropagación. Aplicamos diferentes presiones sobre la anchura, profundidad y tiempo, lo que da lugar a que surjan de forma orgánica diversos grafos computacionales durante el entrenamiento. Observamos que los tres recursos pueden intercambiarse entre sí para alcanzar un nivel determinado de precisión. Las redes crecen en las tres dimensiones con la complejidad de la tarea y toman espontáneamente más pasos recurrentes cuando las entradas están ocluidas. Sorprendentemente, el tiempo utilizado por el modelo se correlaciona con los tiempos de reacción humanos en una tarea de reconocimiento de objetos. Nuestro marco proporciona una explicación normativa de cómo las restricciones de recursos moldean las arquitecturas neuronales, conectando con cuestiones sobre el diseño del cerebro en neurociencia, y puede ayudar a iluminar la diversidad de soluciones neurales encontradas en la naturaleza.

English

Spatial and temporal resource constraints are critical for both biological and artificial intelligent systems. Here we define differentiable cost terms for breadth, depth, and time within a recurrent convolutional neural network conceived as a finite subset of an infinite lattice. We optimize these costs jointly with task errors via backpropagation. We set different pressures on breadth, depth, and time, which leads to diverse computational graphs emerging organically through training. We find that all three resources can be traded off against each other to achieve a given level of accuracy. Networks grow in all three dimensions with task complexity and spontaneously take more recurrent steps when inputs are occluded. Surprisingly, time used by the model correlates with human reaction times in an object recognition task. Our framework provides a normative account of how resource constraints shape neural architectures, connecting to questions about brain design in neuroscience, and may help illuminate the diversity of neural solutions found in nature.