Modelos de Lenguaje Grandes Orquestando Razonamiento Estructurado Alcanzan el Nivel de Gran Maestro en Kaggle

Large Language Models Orchestrating Structured Reasoning Achieve Kaggle Grandmaster Level

November 5, 2024

Autores: Antoine Grosnit, Alexandre Maraval, James Doran, Giuseppe Paolo, Albert Thomas, Refinath Shahul Hameed Nabeezath Beevi, Jonas Gonzalez, Khyati Khandelwal, Ignacio Iacobacci, Abdelhakim Benechehab, Hamza Cherkaoui, Youssef Attia El-Hili, Kun Shao, Jianye Hao, Jun Yao, Balazs Kegl, Haitham Bou-Ammar, Jun Wang

cs.AI

Resumen

Presentamos al Agente K v1.0, un agente autónomo de ciencia de datos de extremo a extremo diseñado para automatizar, optimizar y generalizar en diversas tareas de ciencia de datos. Totalmente automatizado, el Agente K v1.0 gestiona todo el ciclo de vida de la ciencia de datos aprendiendo de la experiencia. Utiliza un marco de razonamiento estructurado altamente flexible que le permite procesar dinámicamente la memoria en una estructura anidada, aprendiendo efectivamente de la experiencia acumulada almacenada para manejar tareas de razonamiento complejas. Optimiza la memoria a largo y corto plazo almacenando y recuperando selectivamente información clave, guiando decisiones futuras basadas en recompensas ambientales. Este enfoque iterativo le permite refinar decisiones sin ajustes finos o retropropagación, logrando una mejora continua a través del aprendizaje experiencial. Evaluamos las capacidades de nuestro agente utilizando competiciones de Kaggle como estudio de caso. Siguiendo un protocolo totalmente automatizado, el Agente K v1.0 aborda sistemáticamente tareas complejas y multimodales de ciencia de datos, empleando optimización bayesiana para ajuste de hiperparámetros e ingeniería de características. Nuestro nuevo marco de evaluación evalúa rigurosamente las capacidades de extremo a extremo del Agente K v1.0 para generar y enviar envíos a partir de una URL de competición de Kaggle. Los resultados demuestran que el Agente K v1.0 logra una tasa de éxito del 92.5\% en tareas, abarcando dominios tabulares, visión por computadora, procesamiento de lenguaje natural y multimodales. Al compararlo con 5,856 competidores humanos de Kaggle calculando puntajes Elo-MMR para cada uno, el Agente K v1.0 se ubica en el top 38\%, demostrando un nivel de habilidad general comparable a usuarios de nivel Experto. Destacadamente, su puntaje Elo-MMR se sitúa entre el primer y tercer cuartil de los puntajes logrados por Grandes Maestros humanos. Además, nuestros resultados indican que el Agente K v1.0 ha alcanzado un nivel de rendimiento equivalente a un Gran Maestro de Kaggle, con un récord de 6 medallas de oro, 3 de plata y 7 de bronce, según el sistema de progresión de Kaggle.

English

We introduce Agent K v1.0, an end-to-end autonomous data science agent designed to automate, optimise, and generalise across diverse data science tasks. Fully automated, Agent K v1.0 manages the entire data science life cycle by learning from experience. It leverages a highly flexible structured reasoning framework to enable it to dynamically process memory in a nested structure, effectively learning from accumulated experience stored to handle complex reasoning tasks. It optimises long- and short-term memory by selectively storing and retrieving key information, guiding future decisions based on environmental rewards. This iterative approach allows it to refine decisions without fine-tuning or backpropagation, achieving continuous improvement through experiential learning. We evaluate our agent's apabilities using Kaggle competitions as a case study. Following a fully automated protocol, Agent K v1.0 systematically addresses complex and multimodal data science tasks, employing Bayesian optimisation for hyperparameter tuning and feature engineering. Our new evaluation framework rigorously assesses Agent K v1.0's end-to-end capabilities to generate and send submissions starting from a Kaggle competition URL. Results demonstrate that Agent K v1.0 achieves a 92.5\% success rate across tasks, spanning tabular, computer vision, NLP, and multimodal domains. When benchmarking against 5,856 human Kaggle competitors by calculating Elo-MMR scores for each, Agent K v1.0 ranks in the top 38\%, demonstrating an overall skill level comparable to Expert-level users. Notably, its Elo-MMR score falls between the first and third quartiles of scores achieved by human Grandmasters. Furthermore, our results indicate that Agent K v1.0 has reached a performance level equivalent to Kaggle Grandmaster, with a record of 6 gold, 3 silver, and 7 bronze medals, as defined by Kaggle's progression system.