Bootstrapping des sprachgesteuerten Navigationslernens mit selbstverfeinerndem Datenrad.

Bootstrapping Language-Guided Navigation Learning with Self-Refining Data Flywheel

December 11, 2024

Autoren: Zun Wang, Jialu Li, Yicong Hong, Songze Li, Kunchang Li, Shoubin Yu, Yi Wang, Yu Qiao, Yali Wang, Mohit Bansal, Limin Wang

cs.AI

Zusammenfassung

Die Erstellung hochwertiger Daten zur Schulung robuster sprachgesteuerter Agenten ist eine lang anhaltende Herausforderung in der verkörperten KI. In diesem Artikel stellen wir einen Selbstverfeinernden Daten-Flywheel (SRDF) vor, der hochwertige und umfangreiche Navigationsanweisungs-Trajektorien-Paare generiert, indem er den Datensatz iterativ durch die Zusammenarbeit zweier Modelle verfeinert, dem Anweisungsgenerator und dem Navigator, ohne jegliche menschliche Annotation in Echtzeit. Konkret beginnt SRDF damit, einen Basengenerator zu verwenden, um einen anfänglichen Datensatz für das Training eines Basenavigators zu erstellen, gefolgt von der Anwendung des trainierten Navigators zur Filterung des Datensatzes. Dies führt zu Daten mit höherer Genauigkeit, um einen besseren Generator zu trainieren, der wiederum hochwertigere Daten zur Schulung des nächsten Navigators produzieren kann. Ein solcher Flywheel etabliert einen selbstverfeinernden Datenprozess, der einen kontinuierlich verbesserten und äußerst effektiven Datensatz für das umfangreiche sprachgesteuerte Navigationslernen liefert. Unsere Experimente zeigen, dass der Navigator nach mehreren Flywheel-Runden die Leistungsgrenze von 70 % auf 78 % SPL im klassischen R2R-Testset anhebt und erstmals die menschliche Leistung (76 %) übertrifft. Gleichzeitig führt dieser Prozess zu einem überlegenen Generator, wie durch eine SPICE-Erhöhung von 23,5 auf 26,2 belegt, besser als alle bisherigen VLN-Anweisungsgenerierungsmethoden. Abschließend zeigen wir die Skalierbarkeit unserer Methode durch eine zunehmende Umgebungs- und Anweisungsvielfalt sowie die Verallgemeinerungsfähigkeit unseres vortrainierten Navigators über verschiedene nachgelagerte Navigationsaufgaben, wobei wir in allen Fällen die bisherigen Spitzenmethoden bei weitem übertreffen.

English

Creating high-quality data for training robust language-instructed agents is a long-lasting challenge in embodied AI. In this paper, we introduce a Self-Refining Data Flywheel (SRDF) that generates high-quality and large-scale navigational instruction-trajectory pairs by iteratively refining the data pool through the collaboration between two models, the instruction generator and the navigator, without any human-in-the-loop annotation. Specifically, SRDF starts with using a base generator to create an initial data pool for training a base navigator, followed by applying the trained navigator to filter the data pool. This leads to higher-fidelity data to train a better generator, which can, in turn, produce higher-quality data for training the next-round navigator. Such a flywheel establishes a data self-refining process, yielding a continuously improved and highly effective dataset for large-scale language-guided navigation learning. Our experiments demonstrate that after several flywheel rounds, the navigator elevates the performance boundary from 70% to 78% SPL on the classic R2R test set, surpassing human performance (76%) for the first time. Meanwhile, this process results in a superior generator, evidenced by a SPICE increase from 23.5 to 26.2, better than all previous VLN instruction generation methods. Finally, we demonstrate the scalability of our method through increasing environment and instruction diversity, and the generalization ability of our pre-trained navigator across various downstream navigation tasks, surpassing state-of-the-art methods by a large margin in all cases.