Razonamiento de Nivel K con Modelos de Lenguaje a Gran Escala

Resumen

Si bien los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado su competencia en tareas de razonamiento complejo, su desempeño en escenarios dinámicos, interactivos y competitivos —como la estrategia empresarial y el análisis del mercado bursátil— sigue siendo poco explorado. Para cerrar esta brecha, exploramos formalmente las capacidades de razonamiento dinámico de los LLMs para la toma de decisiones en entornos que evolucionan rápidamente. Introducimos dos desafíos piloto basados en la teoría de juegos que reflejan las complejidades de la toma de decisiones dinámica en el mundo real. Estos desafíos están bien definidos, lo que permite una evaluación clara, controlable y precisa de las habilidades de razonamiento dinámico de los LLMs. A través de experimentos exhaustivos, encontramos que los métodos de razonamiento existentes tienden a fallar en entornos dinámicos que requieren pensamiento de nivel k —un concepto clave no abordado por trabajos anteriores—. Para abordar esto, proponemos un nuevo enfoque de razonamiento para los LLMs, denominado "Razonamiento de Nivel K". Este enfoque adopta la perspectiva de los rivales para emplear recursivamente el pensamiento de nivel k basado en la información histórica disponible, lo que mejora significativamente la precisión en la predicción de los movimientos posteriores de los rivales y permite una toma de decisiones más estratégica. Esta investigación no solo establece un punto de referencia cuantitativo robusto para la evaluación del razonamiento dinámico, sino que también mejora notablemente la competencia de los LLMs en contextos dinámicos.

English

While Large Language Models (LLMs) have demonstrated their proficiency in complex reasoning tasks, their performance in dynamic, interactive, and competitive scenarios - such as business strategy and stock market analysis - remains underexplored. To bridge this gap, we formally explore the dynamic reasoning capabilities of LLMs for decision-making in rapidly evolving environments. We introduce two game theory-based pilot challenges that mirror the complexities of real-world dynamic decision-making. These challenges are well-defined, enabling clear, controllable, and precise evaluation of LLMs' dynamic reasoning abilities. Through extensive experiments, we find that existing reasoning methods tend to falter in dynamic settings that require k-level thinking - a key concept not tackled by previous works. To address this, we propose a novel reasoning approach for LLMs, named "K-Level Reasoning". This approach adopts the perspective of rivals to recursively employ k-level thinking based on available historical information, which significantly improves the prediction accuracy of rivals' subsequent moves and informs more strategic decision-making. This research not only sets a robust quantitative benchmark for the assessment of dynamic reasoning but also markedly enhances the proficiency of LLMs in dynamic contexts.

Razonamiento de Nivel K con Modelos de Lenguaje a Gran Escala

K-Level Reasoning with Large Language Models

Resumen

Support