O GPT-4 é um bom analista de dados?

Is GPT-4 a Good Data Analyst?

May 24, 2023

Autores: Liying Cheng, Xingxuan Li, Lidong Bing

cs.AI

Resumo

À medida que os grandes modelos de linguagem (LLMs) têm demonstrado suas poderosas capacidades em diversos domínios e tarefas, incluindo compreensão de contexto, geração de código, geração de linguagem, narrativa de dados, entre outros, muitos analistas de dados podem levantar preocupações sobre se seus empregos serão substituídos pela IA. Esse tópico controverso tem atraído muita atenção pública. No entanto, ainda estamos em uma fase de opiniões divergentes sem qualquer conclusão definitiva. Motivados por isso, levantamos a questão de pesquisa "o GPT-4 é um bom analista de dados?" neste trabalho e buscamos respondê-la por meio de estudos comparativos diretos. Em detalhes, consideramos o GPT-4 como um analista de dados para realizar análises de dados de ponta a ponta com bancos de dados de uma ampla gama de domínios. Propomos um framework para abordar os problemas, projetando cuidadosamente os prompts para o GPT-4 conduzir experimentos. Também projetamos várias métricas de avaliação específicas para tarefas, a fim de comparar sistematicamente o desempenho entre vários analistas de dados humanos profissionais e o GPT-4. Os resultados experimentais mostram que o GPT-4 pode alcançar um desempenho comparável ao dos humanos. Também fornecemos discussões aprofundadas sobre nossos resultados para lançar luz sobre estudos futuros antes de concluirmos que o GPT-4 pode substituir analistas de dados.

English

As large language models (LLMs) have demonstrated their powerful capabilities in plenty of domains and tasks, including context understanding, code generation, language generation, data storytelling, etc., many data analysts may raise concerns if their jobs will be replaced by AI. This controversial topic has drawn a lot of attention in public. However, we are still at a stage of divergent opinions without any definitive conclusion. Motivated by this, we raise the research question of "is GPT-4 a good data analyst?" in this work and aim to answer it by conducting head-to-head comparative studies. In detail, we regard GPT-4 as a data analyst to perform end-to-end data analysis with databases from a wide range of domains. We propose a framework to tackle the problems by carefully designing the prompts for GPT-4 to conduct experiments. We also design several task-specific evaluation metrics to systematically compare the performance between several professional human data analysts and GPT-4. Experimental results show that GPT-4 can achieve comparable performance to humans. We also provide in-depth discussions about our results to shed light on further studies before we reach the conclusion that GPT-4 can replace data analysts.