Crescendo uma Rede Neural em Largura, Profundidade e Tempo

Resumo

Restrições de recursos espaciais e temporais são críticas tanto para sistemas inteligentes biológicos quanto artificiais. Aqui, definimos termos de custo diferenciáveis para largura, profundidade e tempo dentro de uma rede neural convolutional recorrente concebida como um subconjunto finito de uma malha infinita. Otimizamos esses custos conjuntamente com erros de tarefa via retropropagação. Aplicamos diferentes pressões sobre largura, profundidade e tempo, o que leva a diversos grafos computacionais emergindo organicamente através do treinamento. Descobrimos que todos os três recursos podem ser compensados entre si para atingir um determinado nível de precisão. As redes crescem em todas as três dimensões com a complexidade da tarefa e executam espontaneamente mais passos recorrentes quando as entradas estão ocluídas. Surpreendentemente, o tempo utilizado pelo modelo correlaciona-se com os tempos de reação humanos em uma tarefa de reconhecimento de objetos. Nossa estrutura fornece uma explicação normativa de como as restrições de recursos moldam as arquiteturas neurais, conectando-se a questões sobre o design do cérebro em neurociência, e pode ajudar a iluminar a diversidade de soluções neurais encontradas na natureza.

English

Spatial and temporal resource constraints are critical for both biological and artificial intelligent systems. Here we define differentiable cost terms for breadth, depth, and time within a recurrent convolutional neural network conceived as a finite subset of an infinite lattice. We optimize these costs jointly with task errors via backpropagation. We set different pressures on breadth, depth, and time, which leads to diverse computational graphs emerging organically through training. We find that all three resources can be traded off against each other to achieve a given level of accuracy. Networks grow in all three dimensions with task complexity and spontaneously take more recurrent steps when inputs are occluded. Surprisingly, time used by the model correlates with human reaction times in an object recognition task. Our framework provides a normative account of how resource constraints shape neural architectures, connecting to questions about brain design in neuroscience, and may help illuminate the diversity of neural solutions found in nature.