TimeHC-RL: Temporal-bewusstes hierarchisches kognitives Reinforcement Learning zur Steigerung der sozialen Intelligenz von LLMs

TimeHC-RL: Temporal-aware Hierarchical Cognitive Reinforcement Learning for Enhancing LLMs' Social Intelligence

May 30, 2025

Autoren: Guiyang Hou, Xing Gao, Yuchuan Wu, Xiang Huang, Wenqi Zhang, Zhe Zheng, Yongliang Shen, Jialu Du, Fei Huang, Yongbin Li, Weiming Lu

cs.AI

Zusammenfassung

Kürzlich haben große Sprachmodelle (LLMs) bedeutende Fortschritte in IQ-bezogenen Domänen erzielt, die sorgfältiges Denken erfordern, wie Mathematik und Programmierung. Die Verbesserung der kognitiven Entwicklung von LLMs in sozialen Domänen, insbesondere aus einer Post-Training-Perspektive, bleibt jedoch weitgehend unerforscht. In Anerkennung der Tatsache, dass die soziale Welt einem eigenen Zeitverlauf folgt und eine reichhaltigere Mischung kognitiver Modi erfordert (von intuitiven Reaktionen (System 1) und oberflächlichem Denken bis hin zu bewusstem Denken (System 2)) als die Mathematik, die sich hauptsächlich auf System 2 Kognition (sorgfältiges, schrittweises Schlussfolgern) stützt, führen wir Temporal-aware Hierarchical Cognitive Reinforcement Learning (TimeHC-RL) ein, um die soziale Intelligenz von LLMs zu verbessern. In unseren Experimenten untersuchen wir systematisch die Verbesserung der sozialen Intelligenz von LLMs und validieren die Wirksamkeit der TimeHC-RL-Methode durch fünf weitere Post-Training-Paradigmen und zwei Testzeit-Interventionsparadigmen auf acht Datensätzen mit unterschiedlichen Datenmustern. Die experimentellen Ergebnisse zeigen die Überlegenheit unserer vorgeschlagenen TimeHC-RL-Methode im Vergleich zur weit verbreiteten System 2 RL-Methode. Sie verleiht dem 7B-Backbone-Modell Flügel und ermöglicht es, mit der Leistung fortschrittlicher Modelle wie DeepSeek-R1 und OpenAI-O3 zu konkurrieren. Darüber hinaus hat die systematische Untersuchung aus der Perspektive von Post-Training und Testzeit-Interventionen zur Verbesserung der sozialen Intelligenz von LLMs mehrere wertvolle Erkenntnisse zutage gefördert.

English

Recently, Large Language Models (LLMs) have made significant progress in IQ-related domains that require careful thinking, such as mathematics and coding. However, enhancing LLMs' cognitive development in social domains, particularly from a post-training perspective, remains underexplored. Recognizing that the social world follows a distinct timeline and requires a richer blend of cognitive modes (from intuitive reactions (System 1) and surface-level thinking to deliberate thinking (System 2)) than mathematics, which primarily relies on System 2 cognition (careful, step-by-step reasoning), we introduce Temporal-aware Hierarchical Cognitive Reinforcement Learning (TimeHC-RL) for enhancing LLMs' social intelligence. In our experiments, we systematically explore improving LLMs' social intelligence and validate the effectiveness of the TimeHC-RL method, through five other post-training paradigms and two test-time intervention paradigms on eight datasets with diverse data patterns. Experimental results reveal the superiority of our proposed TimeHC-RL method compared to the widely adopted System 2 RL method. It gives the 7B backbone model wings, enabling it to rival the performance of advanced models like DeepSeek-R1 and OpenAI-O3. Additionally, the systematic exploration from post-training and test-time interventions perspectives to improve LLMs' social intelligence has uncovered several valuable insights.