Robôs que Pedem Ajuda: Alinhamento de Incerteza para Planejadores Baseados em Modelos de Linguagem de Grande Escala
Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners
July 4, 2023
Autores: Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar
cs.AI
Resumo
Modelos de linguagem de grande escala (LLMs) exibem uma ampla gama de capacidades promissoras — desde planejamento passo a passo até raciocínio de senso comum — que podem ser úteis para robôs, mas ainda são propensos a previsões confiantes e alucinadas. Neste trabalho, apresentamos o KnowNo, um framework para medir e alinhar a incerteza de planejadores baseados em LLMs, de modo que eles saibam quando não sabem e peçam ajuda quando necessário. O KnowNo se baseia na teoria da predição conformal para fornecer garantias estatísticas na conclusão de tarefas, ao mesmo tempo que minimiza a intervenção humana em cenários complexos de planejamento de múltiplos passos. Experimentos realizados em diversas configurações de robôs simulados e reais, envolvendo tarefas com diferentes modos de ambiguidade (por exemplo, desde incertezas espaciais até numéricas, desde preferências humanas até esquemas de Winograd), mostram que o KnowNo supera favoravelmente baselines modernas (que podem envolver ensembles ou ajustes extensivos de prompts) em termos de melhoria de eficiência e autonomia, ao mesmo tempo que fornece garantias formais. O KnowNo pode ser usado com LLMs prontos para uso, sem necessidade de ajuste fino do modelo, e sugere uma abordagem leve e promissora para modelar incertezas que pode complementar e escalar com as crescentes capacidades dos modelos de base. Website: https://robot-help.github.io
English
Large language models (LLMs) exhibit a wide range of promising capabilities
-- from step-by-step planning to commonsense reasoning -- that may provide
utility for robots, but remain prone to confidently hallucinated predictions.
In this work, we present KnowNo, which is a framework for measuring and
aligning the uncertainty of LLM-based planners such that they know when they
don't know and ask for help when needed. KnowNo builds on the theory of
conformal prediction to provide statistical guarantees on task completion while
minimizing human help in complex multi-step planning settings. Experiments
across a variety of simulated and real robot setups that involve tasks with
different modes of ambiguity (e.g., from spatial to numeric uncertainties, from
human preferences to Winograd schemas) show that KnowNo performs favorably over
modern baselines (which may involve ensembles or extensive prompt tuning) in
terms of improving efficiency and autonomy, while providing formal assurances.
KnowNo can be used with LLMs out of the box without model-finetuning, and
suggests a promising lightweight approach to modeling uncertainty that can
complement and scale with the growing capabilities of foundation models.
Website: https://robot-help.github.io