Perché i Modelli Linguistici Open Source Faticano nell'Analisi dei Dati? Uno Studio Empirico Sistematico

Why Do Open-Source LLMs Struggle with Data Analysis? A Systematic Empirical Study

June 24, 2025

Autori: Yuqi Zhu, Yi Zhong, Jintian Zhang, Ziheng Zhang, Shuofei Qiao, Yujie Luo, Lun Du, Da Zheng, Huajun Chen, Ningyu Zhang

cs.AI

Abstract

I Large Language Model (LLM) mostrano un grande potenziale nell'automatizzazione delle attività di analisi dati, tuttavia i modelli open-source presentano significative limitazioni in questi scenari ad alta intensità di ragionamento. In questo lavoro, esploriamo strategie per migliorare le capacità di analisi dati dei LLM open-source. Curando un dataset iniziale composto da scenari diversificati e realistici, valutiamo i modelli lungo tre dimensioni: comprensione dei dati, generazione di codice e pianificazione strategica. La nostra analisi rivela tre risultati chiave: (1) La qualità della pianificazione strategica rappresenta il principale determinante delle prestazioni del modello; (2) Il design dell'interazione e la complessità del compito influenzano significativamente le capacità di ragionamento; (3) La qualità dei dati dimostra un impatto maggiore rispetto alla diversità nel raggiungere prestazioni ottimali. Sfruttiamo queste intuizioni per sviluppare una metodologia di sintesi dati, dimostrando significativi miglioramenti nelle capacità di ragionamento analitico dei LLM open-source.

English

Large Language Models (LLMs) hold promise in automating data analysis tasks, yet open-source models face significant limitations in these kinds of reasoning-intensive scenarios. In this work, we investigate strategies to enhance the data analysis capabilities of open-source LLMs. By curating a seed dataset of diverse, realistic scenarios, we evaluate models across three dimensions: data understanding, code generation, and strategic planning. Our analysis reveals three key findings: (1) Strategic planning quality serves as the primary determinant of model performance; (2) Interaction design and task complexity significantly influence reasoning capabilities; (3) Data quality demonstrates a greater impact than diversity in achieving optimal performance. We leverage these insights to develop a data synthesis methodology, demonstrating significant improvements in open-source LLMs' analytical reasoning capabilities.