Consejos Introspectivos: Modelo de Lenguaje a Gran Escala para la Toma de Decisiones en Contexto

Introspective Tips: Large Language Model for In-Context Decision Making

May 19, 2023

Autores: Liting Chen, Lu Wang, Hang Dong, Yali Du, Jie Yan, Fangkai Yang, Shuang Li, Pu Zhao, Si Qin, Saravan Rajmohan, Qingwei Lin, Dongmei Zhang

cs.AI

Resumen

El surgimiento de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) ha influido significativamente en el procesamiento del lenguaje natural, demostrando resultados excepcionales en diversas tareas. En este estudio, empleamos "Consejos Introspectivos" para facilitar que los LLMs optimicen su toma de decisiones de manera autónoma. Al examinar introspectivamente las trayectorias, el LLM refina su política generando consejos concisos y valiosos. Nuestro método mejora el rendimiento del agente tanto en situaciones de aprendizaje con pocos ejemplos (few-shot) como sin ejemplos previos (zero-shot), considerando tres escenarios esenciales: aprender de las experiencias pasadas del agente, integrar demostraciones de expertos y generalizar a través de diversos juegos. Es importante destacar que logramos estas mejoras sin ajustar los parámetros del LLM; en su lugar, adaptamos el prompt para generalizar conocimientos a partir de los tres escenarios mencionados. Nuestro marco no solo respalda, sino que también enfatiza la ventaja de utilizar LLMs en la toma de decisiones en contexto. Experimentos que involucran más de 100 juegos en TextWorld ilustran el rendimiento superior de nuestro enfoque.

English

The emergence of large language models (LLMs) has substantially influenced natural language processing, demonstrating exceptional results across various tasks. In this study, we employ ``Introspective Tips" to facilitate LLMs in self-optimizing their decision-making. By introspectively examining trajectories, LLM refines its policy by generating succinct and valuable tips. Our method enhances the agent's performance in both few-shot and zero-shot learning situations by considering three essential scenarios: learning from the agent's past experiences, integrating expert demonstrations, and generalizing across diverse games. Importantly, we accomplish these improvements without fine-tuning the LLM parameters; rather, we adjust the prompt to generalize insights from the three aforementioned situations. Our framework not only supports but also emphasizes the advantage of employing LLM in in-contxt decision-making. Experiments involving over 100 games in TextWorld illustrate the superior performance of our approach.