Inicialização do Aprendizado de Navegação Guiada por Linguagem com Autorefinamento do Ciclo de Dados.

Bootstrapping Language-Guided Navigation Learning with Self-Refining Data Flywheel

December 11, 2024

Autores: Zun Wang, Jialu Li, Yicong Hong, Songze Li, Kunchang Li, Shoubin Yu, Yi Wang, Yu Qiao, Yali Wang, Mohit Bansal, Limin Wang

cs.AI

Resumo

A criação de dados de alta qualidade para treinar agentes de linguagem robustos em IA incorporada é um desafio de longa data. Neste artigo, apresentamos um Ciclo de Autoaperfeiçoamento de Dados (CAD) que gera pares de instrução de navegação em larga escala e de alta qualidade, refinando iterativamente o conjunto de dados por meio da colaboração entre dois modelos, o gerador de instruções e o navegador, sem nenhuma anotação humana no processo. Especificamente, o CAD começa usando um gerador base para criar um conjunto de dados inicial para treinar um navegador base, seguido pela aplicação do navegador treinado para filtrar o conjunto de dados. Isso resulta em dados de maior fidelidade para treinar um gerador melhor, que por sua vez pode produzir dados de alta qualidade para treinar o navegador da próxima rodada. Esse ciclo estabelece um processo de autoaperfeiçoamento de dados, resultando em um conjunto de dados continuamente aprimorado e altamente eficaz para aprendizado de navegação guiado por linguagem em larga escala. Nossos experimentos demonstram que após várias rodadas do ciclo, o navegador eleva o limite de desempenho de 70% para 78% SPL no conjunto de testes R2R clássico, superando o desempenho humano (76%) pela primeira vez. Enquanto isso, esse processo resulta em um gerador superior, evidenciado por um aumento de SPICE de 23,5 para 26,2, melhor do que todos os métodos anteriores de geração de instruções VLN. Por fim, demonstramos a escalabilidade de nosso método por meio do aumento da diversidade de ambientes e instruções, e a capacidade de generalização de nosso navegador pré-treinado em várias tarefas de navegação subsequentes, superando os métodos de ponta em todos os casos.

English

Creating high-quality data for training robust language-instructed agents is a long-lasting challenge in embodied AI. In this paper, we introduce a Self-Refining Data Flywheel (SRDF) that generates high-quality and large-scale navigational instruction-trajectory pairs by iteratively refining the data pool through the collaboration between two models, the instruction generator and the navigator, without any human-in-the-loop annotation. Specifically, SRDF starts with using a base generator to create an initial data pool for training a base navigator, followed by applying the trained navigator to filter the data pool. This leads to higher-fidelity data to train a better generator, which can, in turn, produce higher-quality data for training the next-round navigator. Such a flywheel establishes a data self-refining process, yielding a continuously improved and highly effective dataset for large-scale language-guided navigation learning. Our experiments demonstrate that after several flywheel rounds, the navigator elevates the performance boundary from 70% to 78% SPL on the classic R2R test set, surpassing human performance (76%) for the first time. Meanwhile, this process results in a superior generator, evidenced by a SPICE increase from 23.5 to 26.2, better than all previous VLN instruction generation methods. Finally, we demonstrate the scalability of our method through increasing environment and instruction diversity, and the generalization ability of our pre-trained navigator across various downstream navigation tasks, surpassing state-of-the-art methods by a large margin in all cases.