Robots qui demandent de l'aide : Alignement des incertitudes pour les planificateurs basés sur les grands modèles de langage

Résumé

Les grands modèles de langage (LLMs) démontrent un large éventail de capacités prometteuses — allant de la planification étape par étape au raisonnement de bon sens — qui pourraient s'avérer utiles pour les robots, mais restent sujets à des prédictions faussement confiantes. Dans ce travail, nous présentons KnowNo, un cadre pour mesurer et aligner l'incertitude des planificateurs basés sur des LLMs, afin qu'ils sachent quand ils ne savent pas et demandent de l'aide si nécessaire. KnowNo s'appuie sur la théorie de la prédiction conforme pour fournir des garanties statistiques sur l'accomplissement des tâches tout en minimisant l'intervention humaine dans des scénarios de planification multi-étapes complexes. Des expériences menées sur une variété de configurations simulées et réelles de robots impliquant des tâches avec différents modes d'ambiguïté (par exemple, des incertitudes spatiales aux incertitudes numériques, des préférences humaines aux schémas de Winograd) montrent que KnowNo surpasse les approches modernes de référence (qui peuvent inclure des ensembles ou un réglage approfondi des prompts) en termes d'amélioration de l'efficacité et de l'autonomie, tout en offrant des assurances formelles. KnowNo peut être utilisé avec des LLMs sans nécessiter de réglage fin du modèle, et propose une approche légère prometteuse pour modéliser l'incertitude, qui peut compléter et évoluer avec les capacités croissantes des modèles de base. Site web : https://robot-help.github.io

English

Large language models (LLMs) exhibit a wide range of promising capabilities -- from step-by-step planning to commonsense reasoning -- that may provide utility for robots, but remain prone to confidently hallucinated predictions. In this work, we present KnowNo, which is a framework for measuring and aligning the uncertainty of LLM-based planners such that they know when they don't know and ask for help when needed. KnowNo builds on the theory of conformal prediction to provide statistical guarantees on task completion while minimizing human help in complex multi-step planning settings. Experiments across a variety of simulated and real robot setups that involve tasks with different modes of ambiguity (e.g., from spatial to numeric uncertainties, from human preferences to Winograd schemas) show that KnowNo performs favorably over modern baselines (which may involve ensembles or extensive prompt tuning) in terms of improving efficiency and autonomy, while providing formal assurances. KnowNo can be used with LLMs out of the box without model-finetuning, and suggests a promising lightweight approach to modeling uncertainty that can complement and scale with the growing capabilities of foundation models. Website: https://robot-help.github.io

Robots qui demandent de l'aide : Alignement des incertitudes pour les planificateurs basés sur les grands modèles de langage

Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

Résumé

Support