K-Level-Reasoning mit großen Sprachmodellen

Zusammenfassung

Während Large Language Models (LLMs) ihre Kompetenz bei komplexen Denkaufgaben unter Beweis gestellt haben, bleibt ihre Leistung in dynamischen, interaktiven und wettbewerbsorientierten Szenarien – wie etwa Geschäftsstrategie und Börsenanalyse – weitgehend unerforscht. Um diese Lücke zu schließen, untersuchen wir formal die dynamischen Denkfähigkeiten von LLMs für Entscheidungsfindung in sich schnell verändernden Umgebungen. Wir stellen zwei spieltheoriebasierte Pilotherausforderungen vor, die die Komplexität realer dynamischer Entscheidungsprozesse widerspiegeln. Diese Herausforderungen sind klar definiert, was eine präzise, kontrollierbare und eindeutige Bewertung der dynamischen Denkfähigkeiten von LLMs ermöglicht. Durch umfangreiche Experimente stellen wir fest, dass bestehende Denkmethoden in dynamischen Umgebungen, die k-Level-Denken erfordern – ein Schlüsselkonzept, das in früheren Arbeiten nicht behandelt wurde – oft versagen. Um dies zu beheben, schlagen wir einen neuartigen Denkansatz für LLMs vor, der als „K-Level Reasoning“ bezeichnet wird. Dieser Ansatz übernimmt die Perspektive von Konkurrenten, um rekursiv k-Level-Denken basierend auf verfügbaren historischen Informationen anzuwenden, was die Vorhersagegenauigkeit der nachfolgenden Züge der Konkurrenten deutlich verbessert und strategischere Entscheidungen ermöglicht. Diese Forschung legt nicht nur einen robusten quantitativen Maßstab für die Bewertung dynamischen Denkens fest, sondern steigert auch die Kompetenz von LLMs in dynamischen Kontexten erheblich.

English

While Large Language Models (LLMs) have demonstrated their proficiency in complex reasoning tasks, their performance in dynamic, interactive, and competitive scenarios - such as business strategy and stock market analysis - remains underexplored. To bridge this gap, we formally explore the dynamic reasoning capabilities of LLMs for decision-making in rapidly evolving environments. We introduce two game theory-based pilot challenges that mirror the complexities of real-world dynamic decision-making. These challenges are well-defined, enabling clear, controllable, and precise evaluation of LLMs' dynamic reasoning abilities. Through extensive experiments, we find that existing reasoning methods tend to falter in dynamic settings that require k-level thinking - a key concept not tackled by previous works. To address this, we propose a novel reasoning approach for LLMs, named "K-Level Reasoning". This approach adopts the perspective of rivals to recursively employ k-level thinking based on available historical information, which significantly improves the prediction accuracy of rivals' subsequent moves and informs more strategic decision-making. This research not only sets a robust quantitative benchmark for the assessment of dynamic reasoning but also markedly enhances the proficiency of LLMs in dynamic contexts.

K-Level-Reasoning mit großen Sprachmodellen

K-Level Reasoning with Large Language Models

Zusammenfassung

Support