GroupGPT: Ein token-effizientes und datenschutzfreundliches agentenbasiertes Framework für Multi-User-Chat-Assistenten

GroupGPT: A Token-efficient and Privacy-preserving Agentic Framework for Multi-User Chat Assistant

March 1, 2026

Autoren: Zhuokang Shen, Yifan Wang, Hanyu Chen, Wenxuan Huang, Shaohui Lin

cs.AI

Zusammenfassung

Jüngste Fortschritte bei großen Sprachmodellen (LLMs) haben zunehmend leistungsfähige Chatbots ermöglicht. Die meisten bestehenden Systeme konzentrieren sich jedoch auf Einzelnutzer-Umgebungen und lassen sich nicht gut auf Multi-User-Gruppenchats verallgemeinern, in denen Agenten proaktivere und genauere Interventionen in komplexen, sich entwickelnden Kontexten benötigen. Bestehende Ansätze setzen typischerweise LLMs sowohl für das Reasoning als auch für die Generierung ein, was zu hohem Token-Verbrauch, begrenzter Skalierbarkeit und potenziellen Datenschutzrisiken führt. Um diese Herausforderungen zu bewältigen, schlagen wir GroupGPT vor, einen token-effizienten und datenschutzbewahrenden agentenbasierten Rahmen für Multi-User-Chat-Assistenten. GroupGPT adaptiert eine Kollaborationsarchitektur aus kleinen und großen Modellen, um den Interventionszeitpunkt von der Antwortgenerierung zu entkoppeln und so eine effiziente und genaue Entscheidungsfindung zu ermöglichen. Das Framework unterstützt zudem multimodale Eingaben, einschließlich Memes, Bildern, Videos und Sprachnachrichten. Wir führen außerdem MUIR ein, einen Benchmark-Datensatz für Interventions-Reasoning in Multi-User-Chat-Assistenten. MUIR enthält 2.500 annotierte Gruppenchat-Abschnitte mit Interventionslabels und Begründungen, die die Bewertung von Zeitpunktgenauigkeit und Antwortqualität unterstützen. Wir evaluieren eine Reihe von Modellen auf MUIR, von großen Sprachmodellen bis hin zu kleineren Gegenstücken. Umfangreiche Experimente zeigen, dass GroupGPT genaue und gut getaktete Antworten liefert, eine durchschnittliche Bewertung von 4,72/5,0 in der LLM-basierten Evaluation erreicht und von Nutzern in verschiedenen Gruppenchat-Szenarien gut angenommen wird. Darüber hinaus reduziert GroupGPT den Token-Verbrauch um bis zum Dreifachen im Vergleich zu Baseline-Methoden und bietet gleichzeitig eine Datenschutzbereinigung von Nutzernachrichten vor der Cloud-Übertragung. Code ist verfügbar unter: https://github.com/Eliot-Shen/GroupGPT.

English

Recent advances in large language models (LLMs) have enabled increasingly capable chatbots. However, most existing systems focus on single-user settings and do not generalize well to multi-user group chats, where agents require more proactive and accurate intervention under complex, evolving contexts. Existing approaches typically rely on LLMs for both reasoning and generation, leading to high token consumption, limited scalability, and potential privacy risks. To address these challenges, we propose GroupGPT, a token-efficient and privacy-preserving agentic framework for multi-user chat assistant. GroupGPT adopts a small-large model collaborative architecture to decouple intervention timing from response generation, enabling efficient and accurate decision-making. The framework also supports multimodal inputs, including memes, images, videos, and voice messages. We further introduce MUIR, a benchmark dataset for multi-user chat assistant intervention reasoning. MUIR contains 2,500 annotated group chat segments with intervention labels and rationales, supporting evaluation of timing accuracy and response quality. We evaluate a range of models on MUIR, from large language models to smaller counterparts. Extensive experiments demonstrate that GroupGPT produces accurate and well-timed responses, achieving an average score of 4.72/5.0 in LLM-based evaluation, and is well received by users across diverse group chat scenarios. Moreover, GroupGPT reduces token usage by up to 3 times compared to baseline methods, while providing privacy sanitization of user messages before cloud transmission. Code is available at: https://github.com/Eliot-Shen/GroupGPT .