Roboter, die um Hilfe bitten: Unsicherheitsausrichtung für Large Language Model Planner

Zusammenfassung

Große Sprachmodelle (LLMs) zeigen eine Vielzahl vielversprechender Fähigkeiten – von schrittweiser Planung bis hin zu gesundem Menschenverstand –, die für Roboter nützlich sein könnten, neigen jedoch dazu, selbstbewusst falsche Vorhersagen zu treffen. In dieser Arbeit stellen wir KnowNo vor, ein Framework zur Messung und Ausrichtung der Unsicherheit von LLM-basierten Planern, sodass sie erkennen, wenn sie etwas nicht wissen, und bei Bedarf um Hilfe bitten. KnowNo baut auf der Theorie der konformen Vorhersage auf, um statistische Garantien für die Aufgabenerfüllung zu bieten und gleichzeitig menschliche Hilfe in komplexen, mehrstufigen Planungsszenarien zu minimieren. Experimente in verschiedenen simulierten und realen Roboterszenarien, die Aufgaben mit unterschiedlichen Arten von Mehrdeutigkeit beinhalten (z. B. von räumlichen bis hin zu numerischen Unsicherheiten, von menschlichen Präferenzen bis hin zu Winograd-Schemata), zeigen, dass KnowNo im Vergleich zu modernen Baseline-Methoden (die beispielsweise Ensembles oder umfangreiche Prompt-Optimierung beinhalten können) hinsichtlich Effizienz und Autonomie besser abschneidet und gleichzeitig formale Zusicherungen bietet. KnowNo kann mit LLMs ohne Modell-Finetuning verwendet werden und schlägt einen vielversprechenden, leichtgewichtigen Ansatz zur Modellierung von Unsicherheit vor, der die wachsenden Fähigkeiten von Foundation-Modellen ergänzen und skalieren kann. Website: https://robot-help.github.io

English

Large language models (LLMs) exhibit a wide range of promising capabilities -- from step-by-step planning to commonsense reasoning -- that may provide utility for robots, but remain prone to confidently hallucinated predictions. In this work, we present KnowNo, which is a framework for measuring and aligning the uncertainty of LLM-based planners such that they know when they don't know and ask for help when needed. KnowNo builds on the theory of conformal prediction to provide statistical guarantees on task completion while minimizing human help in complex multi-step planning settings. Experiments across a variety of simulated and real robot setups that involve tasks with different modes of ambiguity (e.g., from spatial to numeric uncertainties, from human preferences to Winograd schemas) show that KnowNo performs favorably over modern baselines (which may involve ensembles or extensive prompt tuning) in terms of improving efficiency and autonomy, while providing formal assurances. KnowNo can be used with LLMs out of the box without model-finetuning, and suggests a promising lightweight approach to modeling uncertainty that can complement and scale with the growing capabilities of foundation models. Website: https://robot-help.github.io

Roboter, die um Hilfe bitten: Unsicherheitsausrichtung für Large Language Model Planner

Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

Zusammenfassung

Support