Alineando Asistentes VLM con Cognición Situada Personalizada
Aligning VLM Assistants with Personalized Situated Cognition
June 1, 2025
Autores: Yongqi Li, Shen Zhou, Xiaohu Li, Xin Miao, Jintao Wen, Mayi Xu, Jianhao Chen, Birong Pan, Hankun Kang, Yuanyuan Zhu, Ming Zhong, Tieyun Qian
cs.AI
Resumen
Los modelos de visión-lenguaje (VLMs) alineados con objetivos humanos generales, como ser inofensivos y libres de alucinaciones, se han convertido en valiosos asistentes para los humanos en la gestión de tareas visuales. Sin embargo, las personas con diversos antecedentes tienen diferentes cogniciones incluso en la misma situación. En consecuencia, pueden tener expectativas personalizadas para los asistentes VLM. Esto resalta la necesidad urgente de alinear los asistentes VLM con la cognición situada personalizada para la asistencia en el mundo real. Para estudiar este problema, primero lo simplificamos caracterizando a los individuos basándonos en el concepto sociológico de Conjunto de Roles. Luego, proponemos evaluar las acciones de los individuos para examinar si se ha logrado la alineación personalizada. Además, construimos un punto de referencia llamado PCogAlignBench, que incluye 18k instancias y 20 individuos con diferentes Conjuntos de Roles. Finalmente, presentamos un marco llamado PCogAlign, que construye un modelo de recompensa basado en acciones y consciente de la cognición para la alineación personalizada. Los resultados experimentales y las evaluaciones humanas demuestran la confiabilidad del PCogAlignBench y la efectividad de nuestro PCogAlign propuesto. Abriremos el código y el punto de referencia construido en https://github.com/NLPGM/PCogAlign.
English
Vision-language models (VLMs) aligned with general human objectives, such as
being harmless and hallucination-free, have become valuable assistants of
humans in managing visual tasks. However, people with diversified backgrounds
have different cognition even in the same situation. Consequently, they may
have personalized expectations for VLM assistants. This highlights the urgent
need to align VLM assistants with personalized situated cognition for
real-world assistance. To study this problem, we first simplify it by
characterizing individuals based on the sociological concept of Role-Set. Then,
we propose to evaluate the individuals' actions to examine whether the
personalized alignment is achieved. Further, we construct a benchmark named
PCogAlignBench, which includes 18k instances and 20 individuals with different
Role-Sets. Finally, we present a framework called PCogAlign, which constructs a
cognition-aware and action-based reward model for personalized alignment.
Experimental results and human evaluations demonstrate the reliability of the
PCogAlignBench and the effectiveness of our proposed PCogAlign. We will
open-source the constructed benchmark and code at
https://github.com/NLPGM/PCogAlign.