오픈소스 LLM이 데이터 분석에 어려움을 겪는 이유는 무엇인가? 체계적인 실증 연구

초록

대규모 언어 모델(LLMs)은 데이터 분석 작업의 자동화에서 유망한 가능성을 보여주지만, 오픈소스 모델들은 이러한 추론 집약적인 시나리오에서 상당한 한계에 직면해 있습니다. 본 연구에서는 오픈소스 LLM의 데이터 분석 능력을 향상시키기 위한 전략을 탐구합니다. 다양한 현실적인 시나리오로 구성된 시드 데이터셋을 구축하여, 모델을 데이터 이해, 코드 생성, 전략적 계획이라는 세 가지 차원에서 평가했습니다. 우리의 분석은 세 가지 주요 발견을 보여줍니다: (1) 전략적 계획의 질이 모델 성능의 주요 결정 요인으로 작용함; (2) 상호작용 설계와 작업 복잡성이 추론 능력에 상당한 영향을 미침; (3) 최적의 성능 달성에 있어 데이터 다양성보다 데이터 품질이 더 큰 영향을 미침. 이러한 통찰을 활용하여 데이터 합성 방법론을 개발했으며, 이를 통해 오픈소스 LLM의 분석적 추론 능력이 크게 개선됨을 입증했습니다.

English

Large Language Models (LLMs) hold promise in automating data analysis tasks, yet open-source models face significant limitations in these kinds of reasoning-intensive scenarios. In this work, we investigate strategies to enhance the data analysis capabilities of open-source LLMs. By curating a seed dataset of diverse, realistic scenarios, we evaluate models across three dimensions: data understanding, code generation, and strategic planning. Our analysis reveals three key findings: (1) Strategic planning quality serves as the primary determinant of model performance; (2) Interaction design and task complexity significantly influence reasoning capabilities; (3) Data quality demonstrates a greater impact than diversity in achieving optimal performance. We leverage these insights to develop a data synthesis methodology, demonstrating significant improvements in open-source LLMs' analytical reasoning capabilities.

오픈소스 LLM이 데이터 분석에 어려움을 겪는 이유는 무엇인가? 체계적인 실증 연구

Why Do Open-Source LLMs Struggle with Data Analysis? A Systematic Empirical Study

초록

Support