En apprentissage par renforcement profond, un réseau élagué est un réseau performant.
In deep reinforcement learning, a pruned network is a good network
February 19, 2024
Auteurs: Johan Obando-Ceron, Aaron Courville, Pablo Samuel Castro
cs.AI
Résumé
Des travaux récents ont montré que les agents d'apprentissage par renforcement profond éprouvent des difficultés à utiliser efficacement leurs paramètres de réseau. Nous tirons parti d'observations antérieures sur les avantages des techniques d'entraînement parcimonieux et démontrons que l'élagage progressif par magnitude permet aux agents de maximiser l'efficacité des paramètres. Cela aboutit à des réseaux qui offrent des améliorations spectaculaires de performance par rapport aux réseaux traditionnels et qui présentent une forme de "loi d'échelle", tout en n'utilisant qu'une petite fraction des paramètres complets du réseau.
English
Recent work has shown that deep reinforcement learning agents have difficulty
in effectively using their network parameters. We leverage prior insights into
the advantages of sparse training techniques and demonstrate that gradual
magnitude pruning enables agents to maximize parameter effectiveness. This
results in networks that yield dramatic performance improvements over
traditional networks and exhibit a type of "scaling law", using only a small
fraction of the full network parameters.Summary
AI-Generated Summary