LLM-FE: Ingegneria delle Caratteristiche Automatica per Dati Tabellari con LLM come Ottimizzatori Evolutivi

LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers

March 18, 2025

Autori: Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

cs.AI

Abstract

L'ingegnerizzazione automatica delle feature svolge un ruolo cruciale nel migliorare le prestazioni dei modelli predittivi per attività di apprendimento su dati tabellari. I metodi tradizionali di ingegnerizzazione automatica delle feature sono limitati dalla loro dipendenza da trasformazioni predefinite all'interno di spazi di ricerca fissi e progettati manualmente, spesso trascurando la conoscenza del dominio. I recenti progressi nell'uso dei Large Language Models (LLM) hanno permesso l'integrazione della conoscenza del dominio nel processo di ingegnerizzazione delle feature. Tuttavia, gli approcci esistenti basati su LLM utilizzano prompt diretti o si affidano esclusivamente ai punteggi di validazione per la selezione delle feature, non riuscendo a sfruttare le intuizioni derivanti da precedenti esperimenti di scoperta delle feature o a stabilire un ragionamento significativo tra la generazione delle feature e le prestazioni guidate dai dati. Per affrontare queste sfide, proponiamo LLM-FE, un nuovo framework che combina la ricerca evolutiva con la conoscenza del dominio e le capacità di ragionamento dei LLM per scoprire automaticamente feature efficaci per attività di apprendimento su dati tabellari. LLM-FE formula l'ingegnerizzazione delle feature come un problema di ricerca di programmi, in cui i LLM propongono iterativamente nuovi programmi di trasformazione delle feature, e il feedback guidato dai dati orienta il processo di ricerca. I nostri risultati dimostrano che LLM-FE supera costantemente i benchmark più avanzati, migliorando significativamente le prestazioni dei modelli di previsione su dati tabellari in una varietà di benchmark di classificazione e regressione.

English

Automated feature engineering plays a critical role in improving predictive model performance for tabular learning tasks. Traditional automated feature engineering methods are limited by their reliance on pre-defined transformations within fixed, manually designed search spaces, often neglecting domain knowledge. Recent advances using Large Language Models (LLMs) have enabled the integration of domain knowledge into the feature engineering process. However, existing LLM-based approaches use direct prompting or rely solely on validation scores for feature selection, failing to leverage insights from prior feature discovery experiments or establish meaningful reasoning between feature generation and data-driven performance. To address these challenges, we propose LLM-FE, a novel framework that combines evolutionary search with the domain knowledge and reasoning capabilities of LLMs to automatically discover effective features for tabular learning tasks. LLM-FE formulates feature engineering as a program search problem, where LLMs propose new feature transformation programs iteratively, and data-driven feedback guides the search process. Our results demonstrate that LLM-FE consistently outperforms state-of-the-art baselines, significantly enhancing the performance of tabular prediction models across diverse classification and regression benchmarks.