Im Deep Reinforcement Learning ist ein beschnittenes Netzwerk ein gutes Netzwerk.

In deep reinforcement learning, a pruned network is a good network

February 19, 2024

Autoren: Johan Obando-Ceron, Aaron Courville, Pablo Samuel Castro

cs.AI

Zusammenfassung

Aktuelle Arbeiten haben gezeigt, dass Deep Reinforcement Learning-Agenten Schwierigkeiten haben, ihre Netzwerkparameter effektiv zu nutzen. Wir nutzen frühere Erkenntnisse über die Vorteile von sparsamen Trainingsmethoden und demonstrieren, dass graduelles Magnitude Pruning es Agenten ermöglicht, die Effektivität der Parameter zu maximieren. Dies führt zu Netzwerken, die dramatische Leistungsverbesserungen gegenüber traditionellen Netzwerken erzielen und eine Art „Skalierungsgesetz“ aufweisen, wobei nur ein kleiner Bruchteil der gesamten Netzwerkparameter verwendet wird.

English

Recent work has shown that deep reinforcement learning agents have difficulty in effectively using their network parameters. We leverage prior insights into the advantages of sparse training techniques and demonstrate that gradual magnitude pruning enables agents to maximize parameter effectiveness. This results in networks that yield dramatic performance improvements over traditional networks and exhibit a type of "scaling law", using only a small fraction of the full network parameters.