Nell'apprendimento per rinforzo profondo, una rete potata è una rete efficace.

In deep reinforcement learning, a pruned network is a good network

February 19, 2024

Autori: Johan Obando-Ceron, Aaron Courville, Pablo Samuel Castro

cs.AI

Abstract

Recenti studi hanno dimostrato che gli agenti di apprendimento per rinforzo profondo incontrano difficoltà nell'utilizzare efficacemente i parametri della loro rete. Sfruttiamo intuizioni precedenti sui vantaggi delle tecniche di addestramento sparse e dimostriamo che la potatura graduale basata sulla magnitudine consente agli agenti di massimizzare l'efficacia dei parametri. Ciò si traduce in reti che offrono miglioramenti prestazionali significativi rispetto alle reti tradizionali e che mostrano una sorta di "legge di scala", utilizzando solo una piccola frazione dei parametri totali della rete.

English

Recent work has shown that deep reinforcement learning agents have difficulty in effectively using their network parameters. We leverage prior insights into the advantages of sparse training techniques and demonstrate that gradual magnitude pruning enables agents to maximize parameter effectiveness. This results in networks that yield dramatic performance improvements over traditional networks and exhibit a type of "scaling law", using only a small fraction of the full network parameters.