LLM-FE: Автоматизированное проектирование признаков для табличных данных с использованием языковых моделей в качестве эволюционных оптимизаторов

LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers

March 18, 2025

Авторы: Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

cs.AI

Аннотация

Автоматизированное проектирование признаков играет ключевую роль в повышении производительности прогностических моделей для задач табличного обучения. Традиционные методы автоматизированного проектирования признаков ограничены своей зависимостью от предопределенных преобразований в рамках фиксированных, вручную разработанных пространств поиска, часто игнорируя предметную область. Последние достижения с использованием больших языковых моделей (LLM) позволили интегрировать знания предметной области в процесс проектирования признаков. Однако существующие подходы на основе LLM используют прямое задание запросов или полагаются исключительно на оценки валидации для выбора признаков, не учитывая инсайты из предыдущих экспериментов по обнаружению признаков или не устанавливая осмысленной связи между генерацией признаков и производительностью, основанной на данных. Для решения этих проблем мы предлагаем LLM-FE, новую структуру, которая сочетает эволюционный поиск с знаниями предметной области и способностями к рассуждению LLM для автоматического обнаружения эффективных признаков для задач табличного обучения. LLM-FE формулирует проектирование признаков как задачу поиска программ, где LLM предлагают новые программы преобразования признаков итеративно, а обратная связь, основанная на данных, направляет процесс поиска. Наши результаты демонстрируют, что LLM-FE стабильно превосходит современные базовые методы, значительно улучшая производительность моделей табличного прогнозирования на различных наборах данных для классификации и регрессии.

English

Automated feature engineering plays a critical role in improving predictive model performance for tabular learning tasks. Traditional automated feature engineering methods are limited by their reliance on pre-defined transformations within fixed, manually designed search spaces, often neglecting domain knowledge. Recent advances using Large Language Models (LLMs) have enabled the integration of domain knowledge into the feature engineering process. However, existing LLM-based approaches use direct prompting or rely solely on validation scores for feature selection, failing to leverage insights from prior feature discovery experiments or establish meaningful reasoning between feature generation and data-driven performance. To address these challenges, we propose LLM-FE, a novel framework that combines evolutionary search with the domain knowledge and reasoning capabilities of LLMs to automatically discover effective features for tabular learning tasks. LLM-FE formulates feature engineering as a program search problem, where LLMs propose new feature transformation programs iteratively, and data-driven feedback guides the search process. Our results demonstrate that LLM-FE consistently outperforms state-of-the-art baselines, significantly enhancing the performance of tabular prediction models across diverse classification and regression benchmarks.