Arranque del Aprendizaje de Navegación Guiada por Lenguaje con el Automejoramiento de la Rueda de Datos.

Bootstrapping Language-Guided Navigation Learning with Self-Refining Data Flywheel

December 11, 2024

Autores: Zun Wang, Jialu Li, Yicong Hong, Songze Li, Kunchang Li, Shoubin Yu, Yi Wang, Yu Qiao, Yali Wang, Mohit Bansal, Limin Wang

cs.AI

Resumen

Crear datos de alta calidad para entrenar agentes de lenguaje robustos en el ámbito de la IA incorporada es un desafío de larga data. En este documento, presentamos un Ciclo de Datos Autorrefinante (SRDF, por sus siglas en inglés) que genera pares de instrucciones de navegación y trayectorias de alta calidad y a gran escala mediante la refinación iterativa del conjunto de datos a través de la colaboración entre dos modelos, el generador de instrucciones y el navegador, sin ninguna anotación humana en el proceso. Específicamente, SRDF comienza utilizando un generador base para crear un conjunto de datos inicial para entrenar un navegador base, seguido por la aplicación del navegador entrenado para filtrar el conjunto de datos. Esto conduce a datos de mayor fidelidad para entrenar un generador mejor, que a su vez puede producir datos de mayor calidad para entrenar al navegador de la siguiente ronda. Este ciclo establece un proceso de autorrefinamiento de datos, generando un conjunto de datos continuamente mejorado y altamente efectivo para el aprendizaje de navegación guiado por lenguaje a gran escala. Nuestros experimentos demuestran que después de varias rondas del ciclo, el navegador eleva el límite de rendimiento del 70% al 78% SPL en el clásico conjunto de pruebas R2R, superando el rendimiento humano (76%) por primera vez. Mientras tanto, este proceso resulta en un generador superior, evidenciado por un aumento de SPICE de 23.5 a 26.2, mejor que todos los métodos anteriores de generación de instrucciones de VLN. Finalmente, demostramos la escalabilidad de nuestro método aumentando la diversidad del entorno e instrucciones, y la capacidad de generalización de nuestro navegador preentrenado en diversas tareas de navegación, superando con creces los métodos de vanguardia en todos los casos.

English

Creating high-quality data for training robust language-instructed agents is a long-lasting challenge in embodied AI. In this paper, we introduce a Self-Refining Data Flywheel (SRDF) that generates high-quality and large-scale navigational instruction-trajectory pairs by iteratively refining the data pool through the collaboration between two models, the instruction generator and the navigator, without any human-in-the-loop annotation. Specifically, SRDF starts with using a base generator to create an initial data pool for training a base navigator, followed by applying the trained navigator to filter the data pool. This leads to higher-fidelity data to train a better generator, which can, in turn, produce higher-quality data for training the next-round navigator. Such a flywheel establishes a data self-refining process, yielding a continuously improved and highly effective dataset for large-scale language-guided navigation learning. Our experiments demonstrate that after several flywheel rounds, the navigator elevates the performance boundary from 70% to 78% SPL on the classic R2R test set, surpassing human performance (76%) for the first time. Meanwhile, this process results in a superior generator, evidenced by a SPICE increase from 23.5 to 26.2, better than all previous VLN instruction generation methods. Finally, we demonstrate the scalability of our method through increasing environment and instruction diversity, and the generalization ability of our pre-trained navigator across various downstream navigation tasks, surpassing state-of-the-art methods by a large margin in all cases.