Enseñanza de Agentes de Aprendizaje por Refuerzo Incorporado: Informatividad y Diversidad en el Uso del Lenguaje

Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use

October 31, 2024

Autores: Jiajun Xi, Yinong He, Jianing Yang, Yinpei Dai, Joyce Chai

cs.AI

Resumen

En escenarios del mundo real, es deseable que los agentes incorporados tengan la capacidad de aprovechar el lenguaje humano para adquirir conocimiento explícito o implícito en tareas de aprendizaje. A pesar de los avances recientes, la mayoría de enfoques anteriores adoptan instrucciones simples de bajo nivel como entradas de lenguaje, lo cual puede no reflejar la comunicación humana natural. No está claro cómo incorporar un uso rico del lenguaje para facilitar el aprendizaje de tareas. Para abordar esta cuestión, este artículo estudia diferentes tipos de entradas de lenguaje para facilitar a agentes incorporados el aprendizaje por refuerzo (RL). Específicamente, examinamos cómo diferentes niveles de informatividad del lenguaje (es decir, retroalimentación sobre comportamientos pasados y orientación futura) y diversidad (es decir, variación de expresiones lingüísticas) impactan en el aprendizaje e inferencia de los agentes. Nuestros resultados empíricos basados en cuatro pruebas de RL demuestran que los agentes entrenados con retroalimentación de lenguaje diversa e informativa pueden lograr una generalización mejorada y una adaptación rápida a nuevas tareas. Estos hallazgos resaltan el papel fundamental del uso del lenguaje en la enseñanza de nuevas tareas a agentes incorporados en un mundo abierto. Sitio web del proyecto: https://github.com/sled-group/Teachable_RL

English

In real-world scenarios, it is desirable for embodied agents to have the ability to leverage human language to gain explicit or implicit knowledge for learning tasks. Despite recent progress, most previous approaches adopt simple low-level instructions as language inputs, which may not reflect natural human communication. It's not clear how to incorporate rich language use to facilitate task learning. To address this question, this paper studies different types of language inputs in facilitating reinforcement learning (RL) embodied agents. More specifically, we examine how different levels of language informativeness (i.e., feedback on past behaviors and future guidance) and diversity (i.e., variation of language expressions) impact agent learning and inference. Our empirical results based on four RL benchmarks demonstrate that agents trained with diverse and informative language feedback can achieve enhanced generalization and fast adaptation to new tasks. These findings highlight the pivotal role of language use in teaching embodied agents new tasks in an open world. Project website: https://github.com/sled-group/Teachable_RL