심층 강화 학습에서, 가지치기된 네트워크는 우수한 네트워크로 간주된다.

In deep reinforcement learning, a pruned network is a good network

February 19, 2024

저자: Johan Obando-Ceron, Aaron Courville, Pablo Samuel Castro

cs.AI

초록

최근 연구에 따르면, 심층 강화 학습 에이전트는 네트워크 매개변수를 효과적으로 활용하는 데 어려움을 겪는 것으로 나타났습니다. 우리는 희소 학습 기법의 장점에 대한 기존의 통찰력을 활용하여, 점진적 크기 가지치기가 에이전트가 매개변수 효율성을 극대화할 수 있음을 입증했습니다. 이를 통해 전통적인 네트워크 대비 극적인 성능 향상을 이루는 동시에 전체 네트워크 매개변수의 일부만을 사용하여 일종의 "스케일링 법칙"을 보여주는 네트워크를 구축할 수 있었습니다.

English

Recent work has shown that deep reinforcement learning agents have difficulty in effectively using their network parameters. We leverage prior insights into the advantages of sparse training techniques and demonstrate that gradual magnitude pruning enables agents to maximize parameter effectiveness. This results in networks that yield dramatic performance improvements over traditional networks and exhibit a type of "scaling law", using only a small fraction of the full network parameters.