GroupGPT: Эффективная по токенам и обеспечивающая конфиденциальность агентская архитектура для многопользовательского чат-ассистента
GroupGPT: A Token-efficient and Privacy-preserving Agentic Framework for Multi-User Chat Assistant
March 1, 2026
Авторы: Zhuokang Shen, Yifan Wang, Hanyu Chen, Wenxuan Huang, Shaohui Lin
cs.AI
Аннотация
Последние достижения в области больших языковых моделей (LLM) позволили создать более совершенные чат-боты. Однако большинство существующих систем ориентированы на однопользовательские сценарии и плохо обобщаются на групповые чаты с несколькими пользователями, где агентам требуются более проактивные и точные вмешательства в условиях сложного, развивающегося контекста. Существующие подходы обычно полагаются на LLM как для рассуждений, так и для генерации, что приводит к высокому потреблению токенов, ограниченной масштабируемости и потенциальным рискам конфиденциальности. Для решения этих проблем мы предлагаем GroupGPT — эффективный по использованию токенов и обеспечивающий конфиденциальность агентский фреймворк для многопользовательского чат-ассистента. GroupGPT использует архитектуру совместной работы малых и больших моделей, чтобы разделить определение момента вмешательства и генерацию ответа, обеспечивая эффективное и точное принятие решений. Фреймворк также поддерживает многомодальные входные данные, включая мемы, изображения, видео и голосовые сообщения. Мы также представляем MUIR — эталонный набор данных для оценки рассуждений о вмешательстве в многопользовательских чат-ассистентах. MUIR содержит 2500 размеченных сегментов групповых чатов с метками вмешательства и обоснованиями, поддерживая оценку точности времени и качества ответов. Мы оценили ряд моделей на MUIR, от больших языковых моделей до их меньших аналогов. Многочисленные эксперименты демонстрируют, что GroupGPT выдает точные и своевременные ответы, достигая среднего балла 4.72/5.0 в оценке на основе LLM, и хорошо воспринимается пользователями в различных сценариях групповых чатов. Более того, GroupGPT сокращает использование токенов до 3 раз по сравнению с базовыми методами, обеспечивая при этом очистку конфиденциальной информации пользовательских сообщений перед передачей в облако. Код доступен по адресу: https://github.com/Eliot-Shen/GroupGPT.
English
Recent advances in large language models (LLMs) have enabled increasingly capable chatbots. However, most existing systems focus on single-user settings and do not generalize well to multi-user group chats, where agents require more proactive and accurate intervention under complex, evolving contexts. Existing approaches typically rely on LLMs for both reasoning and generation, leading to high token consumption, limited scalability, and potential privacy risks. To address these challenges, we propose GroupGPT, a token-efficient and privacy-preserving agentic framework for multi-user chat assistant. GroupGPT adopts a small-large model collaborative architecture to decouple intervention timing from response generation, enabling efficient and accurate decision-making. The framework also supports multimodal inputs, including memes, images, videos, and voice messages. We further introduce MUIR, a benchmark dataset for multi-user chat assistant intervention reasoning. MUIR contains 2,500 annotated group chat segments with intervention labels and rationales, supporting evaluation of timing accuracy and response quality. We evaluate a range of models on MUIR, from large language models to smaller counterparts. Extensive experiments demonstrate that GroupGPT produces accurate and well-timed responses, achieving an average score of 4.72/5.0 in LLM-based evaluation, and is well received by users across diverse group chat scenarios. Moreover, GroupGPT reduces token usage by up to 3 times compared to baseline methods, while providing privacy sanitization of user messages before cloud transmission. Code is available at: https://github.com/Eliot-Shen/GroupGPT .