LLM-FE: Ingeniería Automatizada de Características para Datos Tabulares con LLMs como Optimizadores Evolutivos

LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers

March 18, 2025

Autores: Nikhil Abhyankar, Parshin Shojaee, Chandan K. Reddy

cs.AI

Resumen

La ingeniería automatizada de características desempeña un papel crucial en la mejora del rendimiento de los modelos predictivos para tareas de aprendizaje tabular. Los métodos tradicionales de ingeniería automatizada de características están limitados por su dependencia de transformaciones predefinidas dentro de espacios de búsqueda fijos y diseñados manualmente, a menudo descuidando el conocimiento del dominio. Los avances recientes utilizando Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han permitido la integración del conocimiento del dominio en el proceso de ingeniería de características. Sin embargo, los enfoques basados en LLMs existentes utilizan indicaciones directas o dependen únicamente de puntuaciones de validación para la selección de características, sin aprovechar los conocimientos de experimentos previos de descubrimiento de características ni establecer un razonamiento significativo entre la generación de características y el rendimiento basado en datos. Para abordar estos desafíos, proponemos LLM-FE, un marco novedoso que combina la búsqueda evolutiva con el conocimiento del dominio y las capacidades de razonamiento de los LLMs para descubrir automáticamente características efectivas en tareas de aprendizaje tabular. LLM-FE formula la ingeniería de características como un problema de búsqueda de programas, donde los LLMs proponen iterativamente nuevos programas de transformación de características, y la retroalimentación basada en datos guía el proceso de búsqueda. Nuestros resultados demuestran que LLM-FE supera consistentemente los métodos de referencia más avanzados, mejorando significativamente el rendimiento de los modelos de predicción tabular en diversos benchmarks de clasificación y regresión.

English

Automated feature engineering plays a critical role in improving predictive model performance for tabular learning tasks. Traditional automated feature engineering methods are limited by their reliance on pre-defined transformations within fixed, manually designed search spaces, often neglecting domain knowledge. Recent advances using Large Language Models (LLMs) have enabled the integration of domain knowledge into the feature engineering process. However, existing LLM-based approaches use direct prompting or rely solely on validation scores for feature selection, failing to leverage insights from prior feature discovery experiments or establish meaningful reasoning between feature generation and data-driven performance. To address these challenges, we propose LLM-FE, a novel framework that combines evolutionary search with the domain knowledge and reasoning capabilities of LLMs to automatically discover effective features for tabular learning tasks. LLM-FE formulates feature engineering as a program search problem, where LLMs propose new feature transformation programs iteratively, and data-driven feedback guides the search process. Our results demonstrate that LLM-FE consistently outperforms state-of-the-art baselines, significantly enhancing the performance of tabular prediction models across diverse classification and regression benchmarks.