Clasificación de Medallas de OlympicArena: ¿Quién es la IA más inteligente hasta ahora?

OlympicArena Medal Ranks: Who Is the Most Intelligent AI So Far?

June 24, 2024

Autores: Zhen Huang, Zengzhi Wang, Shijie Xia, Pengfei Liu

cs.AI

Resumen

En este informe, planteamos la siguiente pregunta: ¿Cuál es el modelo de IA más inteligente hasta la fecha, medido por OlympicArena (un punto de referencia olímpico, multidisciplinario y multimodal para IA superinteligente)? Nos enfocamos específicamente en los modelos más recientemente lanzados: Claude-3.5-Sonnet, Gemini-1.5-Pro y GPT-4o. Por primera vez, proponemos utilizar un enfoque de Tabla de Medallas Olímpicas para clasificar los modelos de IA según su desempeño integral en diversas disciplinas. Los resultados empíricos revelan: (1) Claude-3.5-Sonnet muestra un desempeño general altamente competitivo en comparación con GPT-4o, incluso superando a GPT-4o en algunas materias (es decir, Física, Química y Biología). (2) Gemini-1.5-Pro y GPT-4V se clasifican consecutivamente justo detrás de GPT-4o y Claude-3.5-Sonnet, pero con una clara brecha de desempeño entre ellos. (3) El desempeño de los modelos de IA de la comunidad de código abierto se queda significativamente rezagado en comparación con estos modelos propietarios. (4) El desempeño de estos modelos en este punto de referencia ha sido menos que satisfactorio, lo que indica que todavía tenemos un largo camino por recorrer antes de alcanzar la superinteligencia. Seguimos comprometidos a rastrear y evaluar continuamente el desempeño de los modelos más potentes en este punto de referencia (disponible en https://github.com/GAIR-NLP/OlympicArena).

English

In this report, we pose the following question: Who is the most intelligent AI model to date, as measured by the OlympicArena (an Olympic-level, multi-discipline, multi-modal benchmark for superintelligent AI)? We specifically focus on the most recently released models: Claude-3.5-Sonnet, Gemini-1.5-Pro, and GPT-4o. For the first time, we propose using an Olympic medal Table approach to rank AI models based on their comprehensive performance across various disciplines. Empirical results reveal: (1) Claude-3.5-Sonnet shows highly competitive overall performance over GPT-4o, even surpassing GPT-4o on a few subjects (i.e., Physics, Chemistry, and Biology). (2) Gemini-1.5-Pro and GPT-4V are ranked consecutively just behind GPT-4o and Claude-3.5-Sonnet, but with a clear performance gap between them. (3) The performance of AI models from the open-source community significantly lags behind these proprietary models. (4) The performance of these models on this benchmark has been less than satisfactory, indicating that we still have a long way to go before achieving superintelligence. We remain committed to continuously tracking and evaluating the performance of the latest powerful models on this benchmark (available at https://github.com/GAIR-NLP/OlympicArena).