Роботы, которые просят о помощи: согласование неопределённости для планировщиков на основе больших языковых моделей

Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

July 4, 2023

Авторы: Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar

cs.AI

Аннотация

Крупные языковые модели (LLMs) демонстрируют широкий спектр перспективных возможностей — от пошагового планирования до здравого смысла в рассуждениях, — которые могут быть полезны для роботов, однако они склонны к уверенным, но ошибочным предсказаниям. В данной работе мы представляем KnowNo — фреймворк для измерения и согласования неопределённости в планировании на основе LLM, чтобы модели знали, когда они не уверены, и запрашивали помощь при необходимости. KnowNo основывается на теории конформного предсказания, предоставляя статистические гарантии выполнения задач при минимизации человеческого вмешательства в сложных многошаговых сценариях планирования. Эксперименты в различных симулированных и реальных роботизированных средах, включающих задачи с различными типами неоднозначности (например, от пространственных до численных неопределённостей, от предпочтений человека до схем Винограда), показывают, что KnowNo превосходит современные базовые подходы (которые могут включать ансамбли или тщательную настройку промптов) с точки зрения повышения эффективности и автономности, одновременно предоставляя формальные гарантии. KnowNo может использоваться с LLM "из коробки" без дообучения модели и предлагает перспективный лёгкий подход к моделированию неопределённости, который может дополнять и масштабироваться вместе с растущими возможностями базовых моделей. Сайт: https://robot-help.github.io

English

Large language models (LLMs) exhibit a wide range of promising capabilities -- from step-by-step planning to commonsense reasoning -- that may provide utility for robots, but remain prone to confidently hallucinated predictions. In this work, we present KnowNo, which is a framework for measuring and aligning the uncertainty of LLM-based planners such that they know when they don't know and ask for help when needed. KnowNo builds on the theory of conformal prediction to provide statistical guarantees on task completion while minimizing human help in complex multi-step planning settings. Experiments across a variety of simulated and real robot setups that involve tasks with different modes of ambiguity (e.g., from spatial to numeric uncertainties, from human preferences to Winograd schemas) show that KnowNo performs favorably over modern baselines (which may involve ensembles or extensive prompt tuning) in terms of improving efficiency and autonomy, while providing formal assurances. KnowNo can be used with LLMs out of the box without model-finetuning, and suggests a promising lightweight approach to modeling uncertainty that can complement and scale with the growing capabilities of foundation models. Website: https://robot-help.github.io