En el aprendizaje por refuerzo profundo, una red podada es una red eficiente.

In deep reinforcement learning, a pruned network is a good network

February 19, 2024

Autores: Johan Obando-Ceron, Aaron Courville, Pablo Samuel Castro

cs.AI

Resumen

Trabajos recientes han demostrado que los agentes de aprendizaje por refuerzo profundo tienen dificultades para utilizar de manera efectiva los parámetros de sus redes. Aprovechamos conocimientos previos sobre las ventajas de las técnicas de entrenamiento disperso y demostramos que la poda gradual por magnitud permite a los agentes maximizar la efectividad de los parámetros. Esto da como resultado redes que ofrecen mejoras de rendimiento significativas en comparación con las redes tradicionales y exhiben una especie de "ley de escalamiento", utilizando solo una pequeña fracción de los parámetros totales de la red.

English

Recent work has shown that deep reinforcement learning agents have difficulty in effectively using their network parameters. We leverage prior insights into the advantages of sparse training techniques and demonstrate that gradual magnitude pruning enables agents to maximize parameter effectiveness. This results in networks that yield dramatic performance improvements over traditional networks and exhibit a type of "scaling law", using only a small fraction of the full network parameters.