幅、深さ、時間におけるニューラルネットワークの成長

要旨

空間的および時間的なリソース制約は、生物学的知能システムと人工知能システムの両方にとって極めて重要である。本論文では、無限格子の有限部分集合として捉えられた再帰型畳み込みニューラルネットワークにおいて、幅、深さ、時間に対する微分可能なコスト項を定義する。誤差逆伝播法を用いて、これらのコストをタスク誤差と同時に最適化する。幅、深さ、時間に対して異なる圧力を設定することで、訓練を通じて多様な計算グラフが有機的に出現する。3つのリソースはすべて、所与の精度を達成するために相互にトレードオフ可能であることが分かる。ネットワークはタスクの複雑さに応じて3つの次元すべてで成長し、入力が遮蔽された場合には自発的により多くの再帰ステップを実行する。驚くべきことに、モデルが使用する時間は、物体認識タスクにおける人間の反応時間と相関する。本フレームワークは、リソース制約がニューラルアーキテクチャをどのように形成するかについての規範的説明を提供し、神経科学における脳の設計に関する疑問と結びつくものであり、自然界に見られる多様な神経解決策の解明に寄与する可能性がある。

English

Spatial and temporal resource constraints are critical for both biological and artificial intelligent systems. Here we define differentiable cost terms for breadth, depth, and time within a recurrent convolutional neural network conceived as a finite subset of an infinite lattice. We optimize these costs jointly with task errors via backpropagation. We set different pressures on breadth, depth, and time, which leads to diverse computational graphs emerging organically through training. We find that all three resources can be traded off against each other to achieve a given level of accuracy. Networks grow in all three dimensions with task complexity and spontaneously take more recurrent steps when inputs are occluded. Surprisingly, time used by the model correlates with human reaction times in an object recognition task. Our framework provides a normative account of how resource constraints shape neural architectures, connecting to questions about brain design in neuroscience, and may help illuminate the diversity of neural solutions found in nature.