Могут ли модели помочь нам создавать лучшие модели? Оценка LLM в качестве специалистов по данным

Can Models Help Us Create Better Models? Evaluating LLMs as Data Scientists

October 30, 2024

Авторы: Michał Pietruszka, Łukasz Borchmann, Aleksander Jędrosz, Paweł Morawiecki

cs.AI

Аннотация

Мы представляем бенчмарк для больших языковых моделей, разработанный для решения одной из наиболее знаниевооруженных задач в области науки о данных: написание кода для инженерии признаков, что требует знания предметной области, а также глубокого понимания основной проблемы и структуры данных. Модель получает описание набора данных в виде подсказки и запрашивает генерацию кода для его преобразования. Оценочный балл вычисляется на основе улучшения, достигнутого моделью XGBoost, обученной на измененном наборе данных, по сравнению с оригинальными данными. Проведя обширное сравнение современных моделей и сопоставление с установленными бенчмарками, мы демонстрируем, что FeatEng нашего предложения может дешево и эффективно оценивать широкие возможности больших языковых моделей, в отличие от существующих методов.

English

We present a benchmark for large language models designed to tackle one of the most knowledge-intensive tasks in data science: writing feature engineering code, which requires domain knowledge in addition to a deep understanding of the underlying problem and data structure. The model is provided with a dataset description in a prompt and asked to generate code transforming it. The evaluation score is derived from the improvement achieved by an XGBoost model fit on the modified dataset compared to the original data. By an extensive evaluation of state-of-the-art models and comparison to well-established benchmarks, we demonstrate that the FeatEng of our proposal can cheaply and efficiently assess the broad capabilities of LLMs, in contrast to the existing methods.