너비, 깊이, 시간에서 신경망을 성장시키기

초록

공간적 및 시간적 자원 제약은 생물학적 및 인공 지능 시스템 모두에게 중요하다. 여기서 우리는 무한 격자의 유한 부분집합으로 간주되는 순환 합성곱 신경망 내에서 폭, 깊이, 시간에 대한 미분 가능한 비용 항을 정의한다. 역전파를 통해 작업 오류와 함께 이러한 비용을 공동으로 최적화한다. 폭, 깊이, 시간에 서로 다른 압력을 설정하여 훈련을 통해 다양한 계산 그래프가 유기적으로 나타나도록 한다. 주어진 정확도 수준을 달성하기 위해 세 가지 자원 모두 서로 상충 관계에 있음을 발견한다. 네트워크는 작업 복잡성에 따라 세 가지 차원 모두에서 성장하며, 입력이 가려질 때 자발적으로 더 많은 순환 단계를 수행한다. 놀랍게도, 모델이 사용하는 시간은 객체 인식 작업에서 인간의 반응 시간과 상관관계를 보인다. 우리의 프레임워크는 자원 제약이 신경 구조를 어떻게 형성하는지에 대한 규범적 설명을 제공하며, 신경과학의 뇌 설계에 관한 질문과 연결되고, 자연에서 발견되는 다양한 신경 해법을 조명하는 데 도움이 될 수 있다.

English

Spatial and temporal resource constraints are critical for both biological and artificial intelligent systems. Here we define differentiable cost terms for breadth, depth, and time within a recurrent convolutional neural network conceived as a finite subset of an infinite lattice. We optimize these costs jointly with task errors via backpropagation. We set different pressures on breadth, depth, and time, which leads to diverse computational graphs emerging organically through training. We find that all three resources can be traded off against each other to achieve a given level of accuracy. Networks grow in all three dimensions with task complexity and spontaneously take more recurrent steps when inputs are occluded. Surprisingly, time used by the model correlates with human reaction times in an object recognition task. Our framework provides a normative account of how resource constraints shape neural architectures, connecting to questions about brain design in neuroscience, and may help illuminate the diversity of neural solutions found in nature.