Suggerimenti Introspettivi: Modelli Linguistici di Grandi Dimensioni per il Processo Decisionale in Contesto

Introspective Tips: Large Language Model for In-Context Decision Making

May 19, 2023

Autori: Liting Chen, Lu Wang, Hang Dong, Yali Du, Jie Yan, Fangkai Yang, Shuang Li, Pu Zhao, Si Qin, Saravan Rajmohan, Qingwei Lin, Dongmei Zhang

cs.AI

Abstract

L'emergenza dei grandi modelli linguistici (LLM) ha influenzato significativamente l'elaborazione del linguaggio naturale, dimostrando risultati eccezionali in vari compiti. In questo studio, utilizziamo "Suggerimenti Introspettivi" per facilitare gli LLM nell'ottimizzazione autonoma del loro processo decisionale. Esaminando introspettivamente le traiettorie, l'LLM affina la sua politica generando suggerimenti concisi e utili. Il nostro metodo migliora le prestazioni dell'agente sia in situazioni di apprendimento few-shot che zero-shot, considerando tre scenari essenziali: apprendere dalle esperienze passate dell'agente, integrare dimostrazioni di esperti e generalizzare attraverso diversi giochi. È importante sottolineare che otteniamo questi miglioramenti senza fine-tuning dei parametri dell'LLM; piuttosto, adattiamo il prompt per generalizzare le intuizioni derivanti dai tre scenari menzionati. Il nostro framework non solo supporta, ma enfatizza anche il vantaggio di impiegare l'LLM nel processo decisionale in-context. Esperimenti che coinvolgono oltre 100 giochi in TextWorld dimostrano la prestazione superiore del nostro approccio.

English

The emergence of large language models (LLMs) has substantially influenced natural language processing, demonstrating exceptional results across various tasks. In this study, we employ ``Introspective Tips" to facilitate LLMs in self-optimizing their decision-making. By introspectively examining trajectories, LLM refines its policy by generating succinct and valuable tips. Our method enhances the agent's performance in both few-shot and zero-shot learning situations by considering three essential scenarios: learning from the agent's past experiences, integrating expert demonstrations, and generalizing across diverse games. Importantly, we accomplish these improvements without fine-tuning the LLM parameters; rather, we adjust the prompt to generalize insights from the three aforementioned situations. Our framework not only supports but also emphasizes the advantage of employing LLM in in-contxt decision-making. Experiments involving over 100 games in TextWorld illustrate the superior performance of our approach.