具体的な強化学習エージェントの教育：情報量と言語使用の多様性

Teaching Embodied Reinforcement Learning Agents: Informativeness and Diversity of Language Use

October 31, 2024

著者: Jiajun Xi, Yinong He, Jianing Yang, Yinpei Dai, Joyce Chai

cs.AI

要旨

現実世界のシナリオにおいて、具体的な学習タスクのために明示的または暗黙の知識を得るために人間の言語を活用する能力を持つことは望ましいです。最近の進歩にもかかわらず、以前のアプローチのほとんどは、自然な人間のコミュニケーションを反映しない可能性がある単純な低レベルの指示を言語入力として採用しています。豊かな言語使用をどのように取り入れてタスク学習を促進するかは明確ではありません。この問題に対処するために、本論文では、強化学習（RL）を行う具体的なエージェントにおいて、異なる種類の言語入力を研究しています。より具体的には、過去の行動に対するフィードバックや将来のガイダンスなど、言語情報の異なるレベル（つまり、過去の行動に対するフィードバックや将来のガイダンス）や多様性（つまり、言語表現の変化）がエージェントの学習と推論にどのように影響するかを調査しています。4つのRLベンチマークに基づく実証結果によると、多様で情報量の豊富な言語フィードバックで訓練されたエージェントは、新しいタスクへの高度な一般化と迅速な適応を達成できることが示されました。これらの知見は、言語使用がオープンワールドにおいて具体的なエージェントに新しいタスクを教える際に果たす重要な役割を強調しています。プロジェクトのウェブサイト: https://github.com/sled-group/Teachable_RL

English

In real-world scenarios, it is desirable for embodied agents to have the ability to leverage human language to gain explicit or implicit knowledge for learning tasks. Despite recent progress, most previous approaches adopt simple low-level instructions as language inputs, which may not reflect natural human communication. It's not clear how to incorporate rich language use to facilitate task learning. To address this question, this paper studies different types of language inputs in facilitating reinforcement learning (RL) embodied agents. More specifically, we examine how different levels of language informativeness (i.e., feedback on past behaviors and future guidance) and diversity (i.e., variation of language expressions) impact agent learning and inference. Our empirical results based on four RL benchmarks demonstrate that agents trained with diverse and informative language feedback can achieve enhanced generalization and fast adaptation to new tasks. These findings highlight the pivotal role of language use in teaching embodied agents new tasks in an open world. Project website: https://github.com/sled-group/Teachable_RL