Рост нейронной сети в ширину, глубину и время

Аннотация

Пространственные и временные ресурсные ограничения критически важны как для биологических, так и для искусственных интеллектуальных систем. В данной работе мы определяем дифференцируемые члены затрат для ширины, глубины и времени в рекуррентной сверточной нейронной сети, рассматриваемой как конечное подмножество бесконечной решетки. Мы оптимизируем эти затраты совместно с ошибками выполнения задачи с помощью обратного распространения ошибки. Устанавливая различное давление на ширину, глубину и время, мы добиваемся того, что в процессе обучения органически возникают разнообразные вычислительные графы. Мы обнаружили, что все три ресурса могут быть взаимно скомпенсированы для достижения заданного уровня точности. Сети растут по всем трем измерениям с увеличением сложности задачи и спонтанно выполняют больше рекуррентных шагов при окклюзии входных данных. Удивительно, что время, используемое моделью, коррелирует со временем реакции человека в задаче распознавания объектов. Наш подход предлагает нормативное объяснение того, как ресурсные ограничения формируют нейронные архитектуры, затрагивая вопросы организации мозга в нейронауке и, возможно, способствуя пониманию разнообразия нейронных решений, встречающихся в природе.

English

Spatial and temporal resource constraints are critical for both biological and artificial intelligent systems. Here we define differentiable cost terms for breadth, depth, and time within a recurrent convolutional neural network conceived as a finite subset of an infinite lattice. We optimize these costs jointly with task errors via backpropagation. We set different pressures on breadth, depth, and time, which leads to diverse computational graphs emerging organically through training. We find that all three resources can be traded off against each other to achieve a given level of accuracy. Networks grow in all three dimensions with task complexity and spontaneously take more recurrent steps when inputs are occluded. Surprisingly, time used by the model correlates with human reaction times in an object recognition task. Our framework provides a normative account of how resource constraints shape neural architectures, connecting to questions about brain design in neuroscience, and may help illuminate the diversity of neural solutions found in nature.