LAMBDA: Um Agente de Dados Baseado em Modelo Grande

LAMBDA: A Large Model Based Data Agent

July 24, 2024

Autores: Maojun Sun, Ruijian Han, Binyan Jiang, Houduo Qi, Defeng Sun, Yancheng Yuan, Jian Huang

cs.AI

Resumo

Apresentamos o "LAMBDA", um novo sistema de análise de dados multiagente de código aberto e sem código que aproveita o poder de grandes modelos. O LAMBDA é projetado para enfrentar desafios de análise de dados em aplicações complexas orientadas por dados por meio do uso de agentes de dados inovadoramente projetados que operam de forma iterativa e generativa usando linguagem natural. No cerne do LAMBDA estão dois papéis-chave de agentes: o programador e o inspetor, que são projetados para trabalhar juntos de forma contínua. Especificamente, o programador gera código com base nas instruções do usuário e no conhecimento específico do domínio, aprimorado por modelos avançados. Enquanto isso, o inspetor depura o código quando necessário. Para garantir robustez e lidar com cenários adversos, o LAMBDA apresenta uma interface de usuário que permite intervenção direta do usuário no loop operacional. Além disso, o LAMBDA pode integrar de forma flexível modelos e algoritmos externos por meio de nosso mecanismo de integração de conhecimento, atendendo às necessidades de análise de dados personalizada. O LAMBDA demonstrou forte desempenho em vários conjuntos de dados de aprendizado de máquina. Ele tem o potencial de aprimorar a prática de ciência de dados e o paradigma de análise integrando de forma contínua inteligência humana e artificial, tornando-o mais acessível, eficaz e eficiente para indivíduos de diversos backgrounds. O forte desempenho do LAMBDA na resolução de problemas de ciência de dados é demonstrado em diversos estudos de caso, que estão disponíveis em https://www.polyu.edu.hk/ama/cmfai/lambda.html.

English

We introduce ``LAMBDA," a novel open-source, code-free multi-agent data analysis system that that harnesses the power of large models. LAMBDA is designed to address data analysis challenges in complex data-driven applications through the use of innovatively designed data agents that operate iteratively and generatively using natural language. At the core of LAMBDA are two key agent roles: the programmer and the inspector, which are engineered to work together seamlessly. Specifically, the programmer generates code based on the user's instructions and domain-specific knowledge, enhanced by advanced models. Meanwhile, the inspector debugs the code when necessary. To ensure robustness and handle adverse scenarios, LAMBDA features a user interface that allows direct user intervention in the operational loop. Additionally, LAMBDA can flexibly integrate external models and algorithms through our knowledge integration mechanism, catering to the needs of customized data analysis. LAMBDA has demonstrated strong performance on various machine learning datasets. It has the potential to enhance data science practice and analysis paradigm by seamlessly integrating human and artificial intelligence, making it more accessible, effective, and efficient for individuals from diverse backgrounds. The strong performance of LAMBDA in solving data science problems is demonstrated in several case studies, which are presented at https://www.polyu.edu.hk/ama/cmfai/lambda.html.