Ensino de Agentes de Aprendizado por Reforço Incorporado: Informatividade e Diversidade no Uso da Linguagem

Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use

October 31, 2024

Autores: Jiajun Xi, Yinong He, Jianing Yang, Yinpei Dai, Joyce Chai

cs.AI

Resumo

Em cenários do mundo real, é desejável que agentes incorporados tenham a capacidade de aproveitar a linguagem humana para obter conhecimento explícito ou implícito para tarefas de aprendizado. Apesar dos progressos recentes, a maioria das abordagens anteriores adota instruções simples de baixo nível como entradas de linguagem, o que pode não refletir a comunicação humana natural. Não está claro como incorporar o uso rico da linguagem para facilitar a aprendizagem de tarefas. Para abordar essa questão, este artigo estuda diferentes tipos de entradas de linguagem na facilitação de agentes incorporados de aprendizado por reforço (RL). Mais especificamente, examinamos como diferentes níveis de informatividade da linguagem (ou seja, feedback sobre comportamentos passados e orientação futura) e diversidade (ou seja, variação de expressões linguísticas) impactam a aprendizagem e inferência do agente. Nossos resultados empíricos baseados em quatro benchmarks de RL demonstram que agentes treinados com feedback linguístico diversificado e informativo podem alcançar generalização aprimorada e rápida adaptação a novas tarefas. Essas descobertas destacam o papel crucial do uso da linguagem no ensino de novas tarefas a agentes incorporados em um mundo aberto. Website do projeto: https://github.com/sled-group/Teachable_RL

English

In real-world scenarios, it is desirable for embodied agents to have the ability to leverage human language to gain explicit or implicit knowledge for learning tasks. Despite recent progress, most previous approaches adopt simple low-level instructions as language inputs, which may not reflect natural human communication. It's not clear how to incorporate rich language use to facilitate task learning. To address this question, this paper studies different types of language inputs in facilitating reinforcement learning (RL) embodied agents. More specifically, we examine how different levels of language informativeness (i.e., feedback on past behaviors and future guidance) and diversity (i.e., variation of language expressions) impact agent learning and inference. Our empirical results based on four RL benchmarks demonstrate that agents trained with diverse and informative language feedback can achieve enhanced generalization and fast adaptation to new tasks. These findings highlight the pivotal role of language use in teaching embodied agents new tasks in an open world. Project website: https://github.com/sled-group/Teachable_RL