Запуск обучения навигации с языковым управлением с самосовершенствующимся циклом данных.

Bootstrapping Language-Guided Navigation Learning with Self-Refining Data Flywheel

December 11, 2024

Авторы: Zun Wang, Jialu Li, Yicong Hong, Songze Li, Kunchang Li, Shoubin Yu, Yi Wang, Yu Qiao, Yali Wang, Mohit Bansal, Limin Wang

cs.AI

Аннотация

Создание высококачественных данных для обучения надежных агентов, управляемых языком, является долговременной проблемой во воплощенном искусственном интеллекте. В данной статье мы представляем Self-Refining Data Flywheel (SRDF), который генерирует высококачественные и масштабные пары навигационных инструкций и траекторий путем итеративного улучшения пула данных через сотрудничество двух моделей: генератора инструкций и навигатора, без участия человека в процессе аннотации. Конкретно, SRDF начинает с использования базового генератора для создания начального пула данных для обучения базового навигатора, затем применяет обученного навигатора для фильтрации пула данных. Это приводит к данным более высокой достоверности для обучения лучшего генератора, который в свою очередь может создавать данные более высокого качества для обучения следующего навигатора. Такое вращающееся колесо устанавливает процесс самоулучшения данных, обеспечивая непрерывно улучшающийся и высокоэффективный набор данных для обучения масштабному языково-управляемому обучению навигации. Наши эксперименты показывают, что после нескольких раундов вращения колеса навигатор повышает границу производительности с 70% до 78% SPL на классическом наборе тестов R2R, превосходя производительность человека (76%) впервые. В то же время этот процесс приводит к улучшенному генератору, подтвержденному увеличением SPICE с 23,5 до 26,2, превосходя все предыдущие методы генерации инструкций VLN. Наконец, мы демонстрируем масштабируемость нашего метода через увеличение разнообразия окружения и инструкций, а также обобщающую способность нашего предварительно обученного навигатора на различных последующих задачах навигации, превосходя существующие методы с большим отрывом во всех случаях.

English

Creating high-quality data for training robust language-instructed agents is a long-lasting challenge in embodied AI. In this paper, we introduce a Self-Refining Data Flywheel (SRDF) that generates high-quality and large-scale navigational instruction-trajectory pairs by iteratively refining the data pool through the collaboration between two models, the instruction generator and the navigator, without any human-in-the-loop annotation. Specifically, SRDF starts with using a base generator to create an initial data pool for training a base navigator, followed by applying the trained navigator to filter the data pool. This leads to higher-fidelity data to train a better generator, which can, in turn, produce higher-quality data for training the next-round navigator. Such a flywheel establishes a data self-refining process, yielding a continuously improved and highly effective dataset for large-scale language-guided navigation learning. Our experiments demonstrate that after several flywheel rounds, the navigator elevates the performance boundary from 70% to 78% SPL on the classic R2R test set, surpassing human performance (76%) for the first time. Meanwhile, this process results in a superior generator, evidenced by a SPICE increase from 23.5 to 26.2, better than all previous VLN instruction generation methods. Finally, we demonstrate the scalability of our method through increasing environment and instruction diversity, and the generalization ability of our pre-trained navigator across various downstream navigation tasks, surpassing state-of-the-art methods by a large margin in all cases.