MindZero: Erlernen von Online-Mental-Schließen mit null Annotationen

Zusammenfassung

Für effektive Unterstützung in der realen Welt benötigen KI-Agenten eine robuste Theory of Mind (ToM): die Fähigkeit, mentale Zustände von Menschen aus ihrem Verhalten zu erschließen. Trotz jüngster Fortschritte bestehen weiterhin mehrere zentrale Herausforderungen, darunter (1) Online-Inferenz mit robusten Unsicherheitsaktualisierungen über mehrere Hypothesen hinweg; (2) effizientes Schlussfolgern, das für Echtzeitunterstützung geeignet ist; und (3) das Fehlen von Ground-Truth-Annotationen mentaler Zustände in realen Anwendungsdomänen. Wir begegnen diesen Herausforderungen mit der Einführung von MindZero, einem Rahmenwerk für selbstüberwachtes Reinforcement Learning, das multimodale große Sprachmodelle (MLLMs) für effizientes und robustes Online-Schlussfolgern über mentale Zustände trainiert. Während des Trainings wird das Modell dafür belohnt, Hypothesen über mentale Zustände zu generieren, die die von einem Planer geschätzte Wahrscheinlichkeit beobachteter Aktionen maximieren, ähnlich wie beim modellbasierten ToM-Schlussfolgern. Diese Methode macht daher explizite Annotationen mentaler Zustände überflüssig. Nach dem Training verinnerlicht MindZero das modellbasierte Schlussfolgern in eine schnelle Single-Pass-Inferenz. Wir evaluieren MindZero im Vergleich zu Basislinien bei anspruchsvollen Aufgaben des mentalen Schlussfolgerns und der KI-Unterstützung in Gridworld- und Haushaltsdomänen. Wir stellten fest, dass LLMs allein unzureichend sind; modellbasierte Methoden verbessern die Genauigkeit, sind jedoch langsam, kostspielig und durch die Kapazität des zugrunde liegenden MLLM begrenzt. Im Gegensatz dazu verbessert MindZero die intrinsische ToM-Fähigkeit von MLLMs und übertrifft modellbasierte Methoden sowohl in Genauigkeit als auch Effizienz deutlich, was zeigt, dass mentales Schlussfolgern effektiv als selbstüberwachte Fähigkeit erlernt werden kann.

English

Effective real-world assistance requires AI agents with robust Theory of Mind (ToM): inferring human mental states from their behavior. Despite recent advances, several key challenges remain, including (1) online inference with robust uncertainty updates over multiple hypotheses; (2) efficient reasoning suitable for real-time assistance; and (3) the lack of ground-truth mental state annotations in real-world domains. We address these challenges by introducing MindZero, a self-supervised reinforcement learning framework that trains multimodal large language models (MLLMs) for efficient and robust online mental reasoning. During training, the model is rewarded for generating mental state hypotheses that maximize the likelihood of observed actions estimated by a planner, similar to model-based ToM reasoning. This method thus eliminates the need for explicit mental state annotations. After training, MindZero internalizes model-based reasoning into fast single-pass inference. We evaluate MindZero against baselines across challenging mental reasoning and AI assistance tasks in gridworld and household domains. We found that LLMs alone are insufficient; model-based methods improve accuracy but are slow, costly, and limited by backbone MLLM capacity. In contrast, MindZero enhances MLLMs' intrinsic ToM ability and significantly outperforms model-based methods in both accuracy and efficiency, showing that mental reasoning can be effectively learned as a self-supervised skill.