GroupGPT: Een Token-efficiënt en Privacy-beschermend Agentisch Framework voor Multi-gebruiker Chatassistenten

GroupGPT: A Token-efficient and Privacy-preserving Agentic Framework for Multi-User Chat Assistant

March 1, 2026

Auteurs: Zhuokang Shen, Yifan Wang, Hanyu Chen, Wenxuan Huang, Shaohui Lin

cs.AI

Samenvatting

Recente vooruitgang in grote taalmmodellen (LLM's) heeft steeds capabelere chatbots mogelijk gemaakt. De meeste bestaande systemen richten zich echter op settings met één gebruiker en generaliseren niet goed naar groepsgesprekken met meerdere gebruikers, waar agenten proactievere en nauwkeurigere interventie vereisen in complexe, evoluerende contexten. Bestaande benaderingen vertrouwen doorgaans op LLM's voor zowel redenering als generatie, wat leidt tot hoog tokenverbruik, beperkte schaalbaarheid en potentiële privacyrisico's. Om deze uitdagingen aan te pakken, stellen we GroupGPT voor, een token-efficiënt en privacybeschermend agentframework voor multi-user chatassistenten. GroupGPT hanteert een collaboratieve architectuur van kleine en grote modellen om de timing van interventie te ontkoppelen van responsgeneratie, wat efficiënte en accurate besluitvorming mogelijk maakt. Het framework ondersteunt tevens multimodale inputs, waaronder memes, afbeeldingen, video's en spraakberichten. We introduceren verder MUIR, een benchmarkdataset voor interventieredenering bij multi-user chatassistenten. MUIR bevat 2.500 geannoteerde groepsgespreksegmenten met interventielabels en onderliggende redeneringen, ter ondersteuning van de evaluatie van timingnauwkeurigheid en responskwaliteit. We evalueren een reeks modellen op MUIR, van grote taalmmodellen tot kleinere tegenhangers. Uitgebreide experimenten tonen aan dat GroupGPT accurate en goed getimede reacties produceert, met een gemiddelde score van 4.72/5.0 in LLM-gebaseerde evaluatie, en dat het goed wordt ontvangen door gebruikers in diverse groepsgespreksscenario's. Bovendien reduceert GroupGPT het tokenverbruik tot wel 3 keer vergeleken met baseline-methoden, terwijl het privacy-sanitisering van gebruikersberichten biedt vóór cloudtransmissie. Code is beschikbaar op: https://github.com/Eliot-Shen/GroupGPT.

English

Recent advances in large language models (LLMs) have enabled increasingly capable chatbots. However, most existing systems focus on single-user settings and do not generalize well to multi-user group chats, where agents require more proactive and accurate intervention under complex, evolving contexts. Existing approaches typically rely on LLMs for both reasoning and generation, leading to high token consumption, limited scalability, and potential privacy risks. To address these challenges, we propose GroupGPT, a token-efficient and privacy-preserving agentic framework for multi-user chat assistant. GroupGPT adopts a small-large model collaborative architecture to decouple intervention timing from response generation, enabling efficient and accurate decision-making. The framework also supports multimodal inputs, including memes, images, videos, and voice messages. We further introduce MUIR, a benchmark dataset for multi-user chat assistant intervention reasoning. MUIR contains 2,500 annotated group chat segments with intervention labels and rationales, supporting evaluation of timing accuracy and response quality. We evaluate a range of models on MUIR, from large language models to smaller counterparts. Extensive experiments demonstrate that GroupGPT produces accurate and well-timed responses, achieving an average score of 4.72/5.0 in LLM-based evaluation, and is well received by users across diverse group chat scenarios. Moreover, GroupGPT reduces token usage by up to 3 times compared to baseline methods, while providing privacy sanitization of user messages before cloud transmission. Code is available at: https://github.com/Eliot-Shen/GroupGPT .