TimeHC-RL: Aprendizaje por Refuerzo Cognitivo Jerárquico con Conciencia Temporal para Mejorar la Inteligencia Social de los Modelos de Lenguaje Grande (LLMs)

Resumen

Recientemente, los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han logrado avances significativos en dominios relacionados con el coeficiente intelectual (IQ) que requieren un pensamiento cuidadoso, como las matemáticas y la programación. Sin embargo, mejorar el desarrollo cognitivo de los LLMs en dominios sociales, particularmente desde una perspectiva posterior al entrenamiento, sigue siendo un área poco explorada. Reconociendo que el mundo social sigue una línea de tiempo distinta y requiere una combinación más rica de modos cognitivos (desde reacciones intuitivas (Sistema 1) y pensamiento superficial hasta el pensamiento deliberado (Sistema 2)) en comparación con las matemáticas, que dependen principalmente de la cognición del Sistema 2 (razonamiento cuidadoso y paso a paso), presentamos el Aprendizaje por Refuerzo Cognitivo Jerárquico con Conciencia Temporal (TimeHC-RL) para mejorar la inteligencia social de los LLMs. En nuestros experimentos, exploramos sistemáticamente la mejora de la inteligencia social de los LLMs y validamos la efectividad del método TimeHC-RL, a través de otros cinco paradigmas de post-entrenamiento y dos paradigmas de intervención en tiempo de prueba, utilizando ocho conjuntos de datos con diversos patrones de datos. Los resultados experimentales revelan la superioridad de nuestro método propuesto TimeHC-RL en comparación con el ampliamente adoptado método de Aprendizaje por Refuerzo del Sistema 2. Este método dota al modelo base de 7B de capacidades adicionales, permitiéndole rivalizar con el rendimiento de modelos avanzados como DeepSeek-R1 y OpenAI-O3. Además, la exploración sistemática desde las perspectivas de post-entrenamiento e intervenciones en tiempo de prueba para mejorar la inteligencia social de los LLMs ha revelado varias ideas valiosas.

English

Recently, Large Language Models (LLMs) have made significant progress in IQ-related domains that require careful thinking, such as mathematics and coding. However, enhancing LLMs' cognitive development in social domains, particularly from a post-training perspective, remains underexplored. Recognizing that the social world follows a distinct timeline and requires a richer blend of cognitive modes (from intuitive reactions (System 1) and surface-level thinking to deliberate thinking (System 2)) than mathematics, which primarily relies on System 2 cognition (careful, step-by-step reasoning), we introduce Temporal-aware Hierarchical Cognitive Reinforcement Learning (TimeHC-RL) for enhancing LLMs' social intelligence. In our experiments, we systematically explore improving LLMs' social intelligence and validate the effectiveness of the TimeHC-RL method, through five other post-training paradigms and two test-time intervention paradigms on eight datasets with diverse data patterns. Experimental results reveal the superiority of our proposed TimeHC-RL method compared to the widely adopted System 2 RL method. It gives the 7B backbone model wings, enabling it to rival the performance of advanced models like DeepSeek-R1 and OpenAI-O3. Additionally, the systematic exploration from post-training and test-time interventions perspectives to improve LLMs' social intelligence has uncovered several valuable insights.

TimeHC-RL: Aprendizaje por Refuerzo Cognitivo Jerárquico con Conciencia Temporal para Mejorar la Inteligencia Social de los Modelos de Lenguaje Grande (LLMs)

TimeHC-RL: Temporal-aware Hierarchical Cognitive Reinforcement Learning for Enhancing LLMs' Social Intelligence

Resumen

Support