Flow-of-Options: Diversifizierte und verbesserte LLM-Argumentation durch das Durchdenken von Optionen

Flow-of-Options: Diversified and Improved LLM Reasoning by Thinking Through Options

February 18, 2025

Autoren: Lakshmi Nair, Ian Trase, Mark Kim

cs.AI

Zusammenfassung

Wir stellen einen neuartigen Ansatz namens Flow-of-Options (FoO) vor, der entwickelt wurde, um intrinsische Verzerrungen in Large Language Models (LLMs) zu adressieren. FoO ermöglicht es LLMs, systematisch eine Vielzahl von Möglichkeiten in ihrer Argumentation zu erkunden, wie durch ein FoO-basiertes agentenbasiertes System zur autonomen Lösung von Machine-Learning-Aufgaben (AutoML) demonstriert wird. Unser Framework übertrifft state-of-the-art Baselines und erzielt Verbesserungen von 38,2 % bis 69,2 % bei standardmäßigen Data-Science-Aufgaben sowie 37,4 % bis 47,9 % bei therapeutischen Chemieaufgaben. Mit Gesamtbetriebskosten von unter 1 US-Dollar pro Aufgabe ist unser Framework gut für kostensensitive Anwendungen geeignet. Über Klassifikation und Regression hinaus zeigen wir die breitere Anwendbarkeit unseres FoO-basierten agentenbasierten Systems auf Aufgaben wie Reinforcement Learning und Bildgenerierung. Unser Framework stellt bedeutende Fortschritte im Vergleich zu aktuellen state-of-the-art agentenbasierten Systemen für AutoML dar, da FoO die Vielfalt in LLM-Lösungen durch komprimierte, erklärbare Repräsentationen fördert, die in Kombination mit fallbasiertem Schließen auch Langzeitgedächtnis unterstützen.

English

We present a novel reasoning approach called Flow-of-Options (FoO), designed to address intrinsic biases in Large Language Models (LLMs). FoO enables LLMs to systematically explore a diverse range of possibilities in their reasoning, as demonstrated by an FoO-based agentic system for autonomously solving Machine Learning tasks (AutoML). Our framework outperforms state-of-the-art baselines, achieving improvements of 38.2% - 69.2% on standard data science tasks, and 37.4% - 47.9% on therapeutic chemistry tasks. With an overall operation cost under $1 per task, our framework is well-suited for cost-sensitive applications. Beyond classification and regression, we illustrate the broader applicability of our FoO-based agentic system to tasks such as reinforcement learning and image generation. Our framework presents significant advancements compared to current state-of-the-art agentic systems for AutoML, due to the benefits of FoO in enforcing diversity in LLM solutions through compressed, explainable representations that also support long-term memory when combined with case-based reasoning.