Robots que Piden Ayuda: Alineación de Incertidumbre para Planificadores Basados en Modelos de Lenguaje a Gran Escala

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) exhiben una amplia gama de capacidades prometedoras —desde la planificación paso a paso hasta el razonamiento de sentido común— que podrían ser útiles para los robots, pero siguen siendo propensos a generar predicciones confiadas pero erróneas. En este trabajo, presentamos KnowNo, un marco para medir y alinear la incertidumbre de los planificadores basados en LLMs, de modo que sepan cuándo no saben y soliciten ayuda cuando sea necesario. KnowNo se basa en la teoría de la predicción conformal para ofrecer garantías estadísticas en la finalización de tareas, al tiempo que minimiza la intervención humana en entornos de planificación complejos y de múltiples pasos. Los experimentos en una variedad de configuraciones simuladas y con robots reales, que involucran tareas con diferentes modos de ambigüedad (por ejemplo, desde incertidumbres espaciales hasta numéricas, desde preferencias humanas hasta esquemas de Winograd), muestran que KnowNo supera favorablemente a los enfoques modernos de referencia (que pueden incluir conjuntos de modelos o ajustes extensivos de prompts) en términos de mejorar la eficiencia y la autonomía, al tiempo que ofrece garantías formales. KnowNo puede utilizarse con LLMs sin necesidad de ajuste fino del modelo y sugiere un enfoque ligero y prometedor para modelar la incertidumbre que puede complementar y escalar junto con las crecientes capacidades de los modelos fundacionales. Sitio web: https://robot-help.github.io.

English

Large language models (LLMs) exhibit a wide range of promising capabilities -- from step-by-step planning to commonsense reasoning -- that may provide utility for robots, but remain prone to confidently hallucinated predictions. In this work, we present KnowNo, which is a framework for measuring and aligning the uncertainty of LLM-based planners such that they know when they don't know and ask for help when needed. KnowNo builds on the theory of conformal prediction to provide statistical guarantees on task completion while minimizing human help in complex multi-step planning settings. Experiments across a variety of simulated and real robot setups that involve tasks with different modes of ambiguity (e.g., from spatial to numeric uncertainties, from human preferences to Winograd schemas) show that KnowNo performs favorably over modern baselines (which may involve ensembles or extensive prompt tuning) in terms of improving efficiency and autonomy, while providing formal assurances. KnowNo can be used with LLMs out of the box without model-finetuning, and suggests a promising lightweight approach to modeling uncertainty that can complement and scale with the growing capabilities of foundation models. Website: https://robot-help.github.io

Robots que Piden Ayuda: Alineación de Incertidumbre para Planificadores Basados en Modelos de Lenguaje a Gran Escala

Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

Resumen

Support