I modelli di ragionamento generano società del pensiero.

Abstract

I grandi modelli linguistici hanno conseguito capacità notevoli in diversi domini, eppure i meccanismi alla base del ragionamento sofisticato rimangono elusivi. Modelli di ragionamento recenti superano modelli addestrati su istruzioni di dimensioni paragonabili in compiti cognitivi complessi, attribuzione che viene data al calcolo esteso tramite catene di pensiero più lunghe. Qui dimostriamo che il ragionamento potenziato emerge non solo dal calcolo esteso, ma dalla simulazione di interazioni simil-multiagente – una società del pensiero – che permette la diversificazione e il dibattito tra prospettive cognitive interne caratterizzate da tratti di personalità distinti e competenze di dominio. Attraverso analisi quantitative e metodi di interpretabilità meccanicistica applicati alle tracce di ragionamento, scopriamo che modelli come DeepSeek-R1 e QwQ-32B mostrano una diversità di prospettive di gran lunga maggiore rispetto ai modelli addestrati su istruzioni, attivando un conflitto più ampio tra caratteristiche eterogenee legate alla personalità e alle competenze durante il ragionamento. Questa struttura multiagente si manifesta in comportamenti conversazionali, inclusi domande-risposte, cambi di prospettiva e la riconciliazione di visioni contrastanti, e in ruoli socio-emotivi che caratterizzano scambi conversazionali serrati, contribuendo insieme al vantaggio in accuratezza nei compiti di ragionamento. Esperimenti controllati di apprendimento per rinforzo rivelano che i modelli base aumentano i comportamenti conversazionali quando vengono premiati unicamente per l'accuratezza del ragionamento, e l'addestramento fine di modelli con impalcature conversazionali accelera il miglioramento del ragionamento rispetto ai modelli base. Questi risultati indicano che l'organizzazione sociale del pensiero permette un'esplorazione efficace degli spazi delle soluzioni. Suggeriamo che i modelli di ragionamento stabiliscano un parallelo computazionale con l'intelligenza collettiva nei gruppi umani, dove la diversità consente una risoluzione dei problemi superiore quando strutturata sistematicamente, il che suggerisce nuove opportunità per l'organizzazione di agenti per sfruttare la saggezza della folla.

English

Large language models have achieved remarkable capabilities across domains, yet mechanisms underlying sophisticated reasoning remain elusive. Recent reasoning models outperform comparable instruction-tuned models on complex cognitive tasks, attributed to extended computation through longer chains of thought. Here we show that enhanced reasoning emerges not from extended computation alone, but from simulating multi-agent-like interactions -- a society of thought -- which enables diversification and debate among internal cognitive perspectives characterized by distinct personality traits and domain expertise. Through quantitative analysis and mechanistic interpretability methods applied to reasoning traces, we find that reasoning models like DeepSeek-R1 and QwQ-32B exhibit much greater perspective diversity than instruction-tuned models, activating broader conflict between heterogeneous personality- and expertise-related features during reasoning. This multi-agent structure manifests in conversational behaviors, including question-answering, perspective shifts, and the reconciliation of conflicting views, and in socio-emotional roles that characterize sharp back-and-forth conversations, together accounting for the accuracy advantage in reasoning tasks. Controlled reinforcement learning experiments reveal that base models increase conversational behaviors when rewarded solely for reasoning accuracy, and fine-tuning models with conversational scaffolding accelerates reasoning improvement over base models. These findings indicate that the social organization of thought enables effective exploration of solution spaces. We suggest that reasoning models establish a computational parallel to collective intelligence in human groups, where diversity enables superior problem-solving when systematically structured, which suggests new opportunities for agent organization to harness the wisdom of crowds.

I modelli di ragionamento generano società del pensiero.

Reasoning Models Generate Societies of Thought

Abstract

Support