Согласование ассистентов на основе визуально-языковых моделей с персонализированной ситуативной когницией

Aligning VLM Assistants with Personalized Situated Cognition

June 1, 2025

Авторы: Yongqi Li, Shen Zhou, Xiaohu Li, Xin Miao, Jintao Wen, Mayi Xu, Jianhao Chen, Birong Pan, Hankun Kang, Yuanyuan Zhu, Ming Zhong, Tieyun Qian

cs.AI

Аннотация

Модели, объединяющие зрение и язык (Vision-Language Models, VLMs), согласованные с общими человеческими целями, такими как безопасность и отсутствие галлюцинаций, стали ценными помощниками в решении визуальных задач. Однако люди с различным опытом и образованием могут по-разному воспринимать одну и ту же ситуацию. В результате у них могут возникать персонализированные ожидания от помощников на основе VLMs. Это подчеркивает острую необходимость согласования таких помощников с персонализированным ситуативным восприятием для оказания помощи в реальных условиях. Для изучения этой проблемы мы сначала упрощаем её, характеризуя индивидов на основе социологического концепта "Ролевого набора" (Role-Set). Затем мы предлагаем оценивать действия индивидов, чтобы проверить, достигнута ли персонализированная согласованность. Далее мы создаем эталонный набор данных под названием PCogAlignBench, который включает 18 тысяч примеров и 20 индивидов с различными ролевыми наборами. Наконец, мы представляем фреймворк PCogAlign, который строит модель вознаграждения, учитывающую восприятие и основанную на действиях, для персонализированного согласования. Результаты экспериментов и оценки людьми подтверждают надежность PCogAlignBench и эффективность предложенного нами фреймворка PCogAlign. Мы опубликуем созданный эталонный набор данных и код на платформе https://github.com/NLPGM/PCogAlign.

English

Vision-language models (VLMs) aligned with general human objectives, such as being harmless and hallucination-free, have become valuable assistants of humans in managing visual tasks. However, people with diversified backgrounds have different cognition even in the same situation. Consequently, they may have personalized expectations for VLM assistants. This highlights the urgent need to align VLM assistants with personalized situated cognition for real-world assistance. To study this problem, we first simplify it by characterizing individuals based on the sociological concept of Role-Set. Then, we propose to evaluate the individuals' actions to examine whether the personalized alignment is achieved. Further, we construct a benchmark named PCogAlignBench, which includes 18k instances and 20 individuals with different Role-Sets. Finally, we present a framework called PCogAlign, which constructs a cognition-aware and action-based reward model for personalized alignment. Experimental results and human evaluations demonstrate the reliability of the PCogAlignBench and the effectiveness of our proposed PCogAlign. We will open-source the constructed benchmark and code at https://github.com/NLPGM/PCogAlign.