Is GPT-4 een goede data-analist?

Is GPT-4 a Good Data Analyst?

May 24, 2023

Auteurs: Liying Cheng, Xingxuan Li, Lidong Bing

cs.AI

Samenvatting

Aangezien grote taalmodelen (LLM's) hun krachtige capaciteiten hebben getoond in tal van domeinen en taken, waaronder contextbegrip, codegeneratie, taalgeneratie, data storytelling, enz., kunnen veel data-analisten zich zorgen maken of hun banen zullen worden overgenomen door AI. Dit controversiële onderwerp heeft veel aandacht getrokken in het publieke debat. Echter, bevinden we ons nog steeds in een fase van uiteenlopende meningen zonder een definitieve conclusie. Gemotiveerd door dit vraagstuk, stellen we in dit werk de onderzoeksvraag "is GPT-4 een goede data-analist?" en streven we ernaar deze te beantwoorden door middel van directe vergelijkende studies. In detail beschouwen we GPT-4 als een data-analist die end-to-end data-analyses uitvoert met databases uit een breed scala aan domeinen. We stellen een raamwerk voor om de problemen aan te pakken door zorgvuldig ontworpen prompts voor GPT-4 te gebruiken om experimenten uit te voeren. Daarnaast ontwerpen we verschillende taakspecifieke evaluatiemetrics om systematisch de prestaties te vergelijken tussen meerdere professionele menselijke data-analisten en GPT-4. Experimentele resultaten tonen aan dat GPT-4 vergelijkbare prestaties kan behalen als mensen. We bieden ook diepgaande discussies over onze resultaten om inzicht te bieden voor verder onderzoek voordat we tot de conclusie komen dat GPT-4 data-analisten kan vervangen.

English

As large language models (LLMs) have demonstrated their powerful capabilities in plenty of domains and tasks, including context understanding, code generation, language generation, data storytelling, etc., many data analysts may raise concerns if their jobs will be replaced by AI. This controversial topic has drawn a lot of attention in public. However, we are still at a stage of divergent opinions without any definitive conclusion. Motivated by this, we raise the research question of "is GPT-4 a good data analyst?" in this work and aim to answer it by conducting head-to-head comparative studies. In detail, we regard GPT-4 as a data analyst to perform end-to-end data analysis with databases from a wide range of domains. We propose a framework to tackle the problems by carefully designing the prompts for GPT-4 to conduct experiments. We also design several task-specific evaluation metrics to systematically compare the performance between several professional human data analysts and GPT-4. Experimental results show that GPT-4 can achieve comparable performance to humans. We also provide in-depth discussions about our results to shed light on further studies before we reach the conclusion that GPT-4 can replace data analysts.