K-Niveau Redeneren met Grote Taalmodellen

Samenvatting

Hoewel Large Language Models (LLMs) hun vaardigheid hebben aangetoond in complexe redeneertaken, blijft hun prestaties in dynamische, interactieve en competitieve scenario's - zoals bedrijfsstrategie en aandelenmarktanalyse - onderbelicht. Om deze kloof te overbruggen, onderzoeken we formeel de dynamische redeneervaardigheden van LLMs voor besluitvorming in snel veranderende omgevingen. We introduceren twee op speltheorie gebaseerde pilotuitdagingen die de complexiteit van dynamische besluitvorming in de echte wereld weerspiegelen. Deze uitdagingen zijn goed gedefinieerd, waardoor een duidelijke, controleerbare en precieze evaluatie van de dynamische redeneervaardigheden van LLMs mogelijk is. Door uitgebreide experimenten ontdekken we dat bestaande redeneermethoden vaak tekortschieten in dynamische situaties die k-level denken vereisen - een sleutelconcept dat door eerdere werken niet is aangepakt. Om dit aan te pakken, stellen we een nieuwe redeneerbenadering voor LLMs voor, genaamd "K-Level Reasoning". Deze benadering neemt het perspectief van rivalen over om recursief k-level denken toe te passen op basis van beschikbare historische informatie, wat de nauwkeurigheid van het voorspellen van de volgende zetten van rivalen aanzienlijk verbetert en meer strategische besluitvorming informeert. Dit onderzoek stelt niet alleen een robuuste kwantitatieve benchmark vast voor de beoordeling van dynamisch redeneren, maar verbetert ook aanzienlijk de vaardigheid van LLMs in dynamische contexten.

English

While Large Language Models (LLMs) have demonstrated their proficiency in complex reasoning tasks, their performance in dynamic, interactive, and competitive scenarios - such as business strategy and stock market analysis - remains underexplored. To bridge this gap, we formally explore the dynamic reasoning capabilities of LLMs for decision-making in rapidly evolving environments. We introduce two game theory-based pilot challenges that mirror the complexities of real-world dynamic decision-making. These challenges are well-defined, enabling clear, controllable, and precise evaluation of LLMs' dynamic reasoning abilities. Through extensive experiments, we find that existing reasoning methods tend to falter in dynamic settings that require k-level thinking - a key concept not tackled by previous works. To address this, we propose a novel reasoning approach for LLMs, named "K-Level Reasoning". This approach adopts the perspective of rivals to recursively employ k-level thinking based on available historical information, which significantly improves the prediction accuracy of rivals' subsequent moves and informs more strategic decision-making. This research not only sets a robust quantitative benchmark for the assessment of dynamic reasoning but also markedly enhances the proficiency of LLMs in dynamic contexts.

K-Niveau Redeneren met Grote Taalmodellen

K-Level Reasoning with Large Language Models

Samenvatting

Support