Flow-of-Options: Raciocínio Diversificado e Aprimorado em LLMs ao Pensar Através de Opções

Flow-of-Options: Diversified and Improved LLM Reasoning by Thinking Through Options

February 18, 2025

Autores: Lakshmi Nair, Ian Trase, Mark Kim

cs.AI

Resumo

Apresentamos uma nova abordagem de raciocínio chamada Fluxo-de-Opções (Flow-of-Options, FoO), projetada para abordar vieses intrínsecos em Modelos de Linguagem de Grande Escala (LLMs). O FoO permite que os LLMs explorem sistematicamente uma ampla gama de possibilidades em seu raciocínio, conforme demonstrado por um sistema agente baseado em FoO para resolver autonomamente tarefas de Aprendizado de Máquina (AutoML). Nosso framework supera os baselines state-of-the-art, alcançando melhorias de 38,2% a 69,2% em tarefas padrão de ciência de dados e de 37,4% a 47,9% em tarefas de química terapêutica. Com um custo operacional total inferior a US$ 1 por tarefa, nosso framework é bem adequado para aplicações sensíveis a custos. Além de classificação e regressão, ilustramos a aplicabilidade mais ampla do nosso sistema agente baseado em FoO para tarefas como aprendizado por reforço e geração de imagens. Nosso framework apresenta avanços significativos em comparação com os sistemas agentes state-of-the-art atuais para AutoML, graças aos benefícios do FoO em impor diversidade nas soluções dos LLMs por meio de representações compactas e explicáveis que também suportam memória de longo prazo quando combinadas com raciocínio baseado em casos.

English

We present a novel reasoning approach called Flow-of-Options (FoO), designed to address intrinsic biases in Large Language Models (LLMs). FoO enables LLMs to systematically explore a diverse range of possibilities in their reasoning, as demonstrated by an FoO-based agentic system for autonomously solving Machine Learning tasks (AutoML). Our framework outperforms state-of-the-art baselines, achieving improvements of 38.2% - 69.2% on standard data science tasks, and 37.4% - 47.9% on therapeutic chemistry tasks. With an overall operation cost under $1 per task, our framework is well-suited for cost-sensitive applications. Beyond classification and regression, we illustrate the broader applicability of our FoO-based agentic system to tasks such as reinforcement learning and image generation. Our framework presents significant advancements compared to current state-of-the-art agentic systems for AutoML, due to the benefits of FoO in enforcing diversity in LLM solutions through compressed, explainable representations that also support long-term memory when combined with case-based reasoning.