Robot che Chiedono Aiuto: Allineamento dell'Incertezza per Modelli Linguistici di Grande Dimensione nei Pianificatori

Abstract

I grandi modelli linguistici (LLM) dimostrano un'ampia gamma di capacità promettenti — dalla pianificazione passo-passo al ragionamento basato sul senso comune — che potrebbero rivelarsi utili per i robot, ma rimangono inclini a produrre previsioni con sicurezza anche quando queste sono errate. In questo lavoro, presentiamo KnowNo, un framework per misurare e allineare l'incertezza dei pianificatori basati su LLM in modo che sappiano quando non sanno e chiedano aiuto quando necessario. KnowNo si basa sulla teoria della previsione conforme per fornire garanzie statistiche sul completamento dei compiti, minimizzando l'intervento umano in contesti di pianificazione complessi e multi-step. Esperimenti condotti su una varietà di configurazioni robotiche simulate e reali, che coinvolgono compiti con diverse modalità di ambiguità (ad esempio, da incertezze spaziali a numeriche, da preferenze umane a schemi di Winograd), mostrano che KnowNo supera favorevolmente i moderni approcci di riferimento (che possono includere ensemble o un'estesa ottimizzazione dei prompt) in termini di miglioramento dell'efficienza e dell'autonomia, fornendo al contempo garanzie formali. KnowNo può essere utilizzato con LLM senza necessità di fine-tuning del modello e suggerisce un approccio leggero e promettente per modellare l'incertezza, che può integrarsi e scalare con le crescenti capacità dei modelli di base. Sito web: https://robot-help.github.io

English

Large language models (LLMs) exhibit a wide range of promising capabilities -- from step-by-step planning to commonsense reasoning -- that may provide utility for robots, but remain prone to confidently hallucinated predictions. In this work, we present KnowNo, which is a framework for measuring and aligning the uncertainty of LLM-based planners such that they know when they don't know and ask for help when needed. KnowNo builds on the theory of conformal prediction to provide statistical guarantees on task completion while minimizing human help in complex multi-step planning settings. Experiments across a variety of simulated and real robot setups that involve tasks with different modes of ambiguity (e.g., from spatial to numeric uncertainties, from human preferences to Winograd schemas) show that KnowNo performs favorably over modern baselines (which may involve ensembles or extensive prompt tuning) in terms of improving efficiency and autonomy, while providing formal assurances. KnowNo can be used with LLMs out of the box without model-finetuning, and suggests a promising lightweight approach to modeling uncertainty that can complement and scale with the growing capabilities of foundation models. Website: https://robot-help.github.io

Robot che Chiedono Aiuto: Allineamento dell'Incertezza per Modelli Linguistici di Grande Dimensione nei Pianificatori

Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

Abstract

Support