モデルは私たちがより良いモデルを作成するのに役立ちますか？データサイエンティストとしてLLMの評価

Can Models Help Us Create Better Models? Evaluating LLMs as Data Scientists

October 30, 2024

著者: Michał Pietruszka, Łukasz Borchmann, Aleksander Jędrosz, Paweł Morawiecki

cs.AI

要旨

データサイエンスにおける知識集約的なタスクの1つである特徴量エンジニアリングコードの作成に取り組む大規模言語モデルのためのベンチマークを提案します。このタスクには、深い問題理解とデータ構造に加えてドメイン知識が必要です。モデルにはプロンプトでデータセットの説明が与えられ、それを変換するコードを生成するよう求められます。評価スコアは、修正されたデータセットに適合させたXGBoostモデルの改善によって導かれます。最先端のモデルを徹底的に評価し、確立されたベンチマークと比較することで、提案するFeatEngが既存の手法とは対照的にLLMの広範な能力を安価かつ効率的に評価できることを示します。

English

We present a benchmark for large language models designed to tackle one of the most knowledge-intensive tasks in data science: writing feature engineering code, which requires domain knowledge in addition to a deep understanding of the underlying problem and data structure. The model is provided with a dataset description in a prompt and asked to generate code transforming it. The evaluation score is derived from the improvement achieved by an XGBoost model fit on the modified dataset compared to the original data. By an extensive evaluation of state-of-the-art models and comparison to well-established benchmarks, we demonstrate that the FeatEng of our proposal can cheaply and efficiently assess the broad capabilities of LLMs, in contrast to the existing methods.