深層強化学習において、枝刈りされたネットワークは優れたネットワークである。

In deep reinforcement learning, a pruned network is a good network

February 19, 2024

著者: Johan Obando-Ceron, Aaron Courville, Pablo Samuel Castro

cs.AI

要旨

最近の研究では、深層強化学習エージェントがネットワークパラメータを効果的に活用するのに苦労していることが示されています。本研究では、スパース学習技術の利点に関する既存の知見を活用し、段階的なマグニチュードプルーニングがエージェントのパラメータ効率を最大化することを実証します。このアプローチにより、従来のネットワークと比較して劇的な性能向上を実現し、フルネットワークパラメータのごく一部のみを使用しながら「スケーリング則」とも呼べる特性を示すネットワークが得られます。

English

Recent work has shown that deep reinforcement learning agents have difficulty in effectively using their network parameters. We leverage prior insights into the advantages of sparse training techniques and demonstrate that gradual magnitude pruning enables agents to maximize parameter effectiveness. This results in networks that yield dramatic performance improvements over traditional networks and exhibit a type of "scaling law", using only a small fraction of the full network parameters.