En apprentissage par renforcement profond, un réseau élagué est un réseau performant.

In deep reinforcement learning, a pruned network is a good network

February 19, 2024

Auteurs: Johan Obando-Ceron, Aaron Courville, Pablo Samuel Castro

cs.AI

Résumé

Des travaux récents ont montré que les agents d'apprentissage par renforcement profond éprouvent des difficultés à utiliser efficacement leurs paramètres de réseau. Nous tirons parti d'observations antérieures sur les avantages des techniques d'entraînement parcimonieux et démontrons que l'élagage progressif par magnitude permet aux agents de maximiser l'efficacité des paramètres. Cela aboutit à des réseaux qui offrent des améliorations spectaculaires de performance par rapport aux réseaux traditionnels et qui présentent une forme de "loi d'échelle", tout en n'utilisant qu'une petite fraction des paramètres complets du réseau.

English

Recent work has shown that deep reinforcement learning agents have difficulty in effectively using their network parameters. We leverage prior insights into the advantages of sparse training techniques and demonstrate that gradual magnitude pruning enables agents to maximize parameter effectiveness. This results in networks that yield dramatic performance improvements over traditional networks and exhibit a type of "scaling law", using only a small fraction of the full network parameters.