Обучение агентов с подкреплением с инкорпорацией телесных характеристик: Информативность и Разнообразие использования языка

Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use

October 31, 2024

Авторы: Jiajun Xi, Yinong He, Jianing Yang, Yinpei Dai, Joyce Chai

cs.AI

Аннотация

В реальных сценариях желательно, чтобы воплощенные агенты обладали способностью использовать человеческий язык для получения явных или неявных знаний для обучающих задач. Несмотря на недавние успехи, большинство предыдущих подходов используют простые низкоуровневые инструкции в качестве языковых входных данных, которые могут не отражать естественного человеческого общения. Неясно, как внедрить богатое языковое взаимодействие для облегчения обучения задачам. Для решения этого вопроса в данной статье изучаются различные типы языковых входных данных в обучении воплощенных агентов с подкреплением (RL). Более конкретно, мы исследуем, как различные уровни информативности языка (т.е. обратная связь по прошлым действиям и будущее руководство) и разнообразие (т.е. вариация языковых выражений) влияют на обучение и вывод агента. Наши эмпирические результаты на основе четырех бенчмарков RL показывают, что агенты, обученные с разнообразной и информативной языковой обратной связью, могут достичь улучшенной обобщаемости и быстрой адаптации к новым задачам. Эти результаты подчеркивают ключевую роль использования языка в обучении воплощенных агентов новым задачам в открытом мире. Веб-сайт проекта: https://github.com/sled-group/Teachable_RL

English

In real-world scenarios, it is desirable for embodied agents to have the ability to leverage human language to gain explicit or implicit knowledge for learning tasks. Despite recent progress, most previous approaches adopt simple low-level instructions as language inputs, which may not reflect natural human communication. It's not clear how to incorporate rich language use to facilitate task learning. To address this question, this paper studies different types of language inputs in facilitating reinforcement learning (RL) embodied agents. More specifically, we examine how different levels of language informativeness (i.e., feedback on past behaviors and future guidance) and diversity (i.e., variation of language expressions) impact agent learning and inference. Our empirical results based on four RL benchmarks demonstrate that agents trained with diverse and informative language feedback can achieve enhanced generalization and fast adaptation to new tasks. These findings highlight the pivotal role of language use in teaching embodied agents new tasks in an open world. Project website: https://github.com/sled-group/Teachable_RL