単なる環境スケーリングを超えて：マルチモーダルエージェント学習のための効果的な環境分布の設計

要旨

近年の研究では、大規模なマルチモーダル環境プールを構築することでエージェントを訓練している。しかし、我々はマルチモーダル環境の数を単純に増やすだけでは必ずしも効果が得られないことを見出した。さらに、一連の実験を通じて、現在のマルチモーダル環境分布における限界を分析する。これらの知見に基づき、我々は**多様性**と**難易度構造**という2つの側面から、より効果的な訓練環境分布を構築する方法を研究する。多様性については、多様な環境セットを得るための**能力認識環境選択（AES）**を提案する。難易度構造については、**階層的難易度カリキュラム（HDC）**を提案する。これは、ハーネス弱化と状態規模の進行という2つの難易度レベルを通じてカリキュラム学習を組織化するものである。実験により、AESとHDCがマルチモーダルエージェントの訓練を効果的に改善することが示された。

English

Recent works train agents by constructing large-scale multimodal environment pools. However, we find that simply increasing the number of multimodal environments does not always benefit. We further analyze the limitations in current multimodal environment distributions through a series of experiments. Based on these findings, we study how to build more effective training environment distributions from two dimensions: **diversity** and **difficulty structure**. For diversity, we propose **Ability-aware Environment Selection (AES)** to obtain diverse environment sets. For difficulty structure, we propose **Hierarchical Difficulty Curriculum (HDC)**, which organizes curriculum learning through two difficulty levels: harness weakening and state-scale progression. Experiments show that AES and HDC effectively improve multimodal agent training.