No Pienses Tanto en 2+3=? Sobre el Sobreanálisis de LLMs Tipo o1

Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs

December 30, 2024

Autores: Xingyu Chen, Jiahao Xu, Tian Liang, Zhiwei He, Jianhui Pang, Dian Yu, Linfeng Song, Qiuzhi Liu, Mengfei Zhou, Zhuosheng Zhang, Rui Wang, Zhaopeng Tu, Haitao Mi, Dong Yu

cs.AI

Resumen

El notable rendimiento de modelos como el OpenAI o1 se puede atribuir a su capacidad para emular un pensamiento a largo plazo similar al humano durante la inferencia. Estos modelos emplean procesos de encadenamiento de pensamientos extendidos (CoT), explorando múltiples estrategias para mejorar las capacidades de resolución de problemas. Sin embargo, una pregunta crítica persiste: ¿Cómo escalar de manera inteligente y eficiente los recursos computacionales durante las pruebas? Este documento presenta el primer estudio exhaustivo sobre el problema prevalente de sobre-pensar en estos modelos, donde se asignan recursos computacionales excesivos para problemas simples con beneficios mínimos. Introducimos métricas de eficiencia novedosas desde perspectivas tanto de resultado como de proceso para evaluar el uso racional de recursos computacionales por parte de modelos similares a o1. Utilizando un paradigma de auto-entrenamiento, proponemos estrategias para mitigar el sobre-pensamiento, optimizando los procesos de razonamiento sin comprometer la precisión. Los resultados experimentales muestran que nuestro enfoque reduce con éxito la sobrecarga computacional mientras se preserva el rendimiento del modelo en una variedad de conjuntos de pruebas con niveles de dificultad variables, como GSM8K, MATH500, GPQA y AIME.

English

The remarkable performance of models like the OpenAI o1 can be attributed to their ability to emulate human-like long-time thinking during inference. These models employ extended chain-of-thought (CoT) processes, exploring multiple strategies to enhance problem-solving capabilities. However, a critical question remains: How to intelligently and efficiently scale computational resources during testing. This paper presents the first comprehensive study on the prevalent issue of overthinking in these models, where excessive computational resources are allocated for simple problems with minimal benefit. We introduce novel efficiency metrics from both outcome and process perspectives to evaluate the rational use of computational resources by o1-like models. Using a self-training paradigm, we propose strategies to mitigate overthinking, streamlining reasoning processes without compromising accuracy. Experimental results show that our approach successfully reduces computational overhead while preserving model performance across a range of testsets with varying difficulty levels, such as GSM8K, MATH500, GPQA, and AIME.