Alignement des assistants VLM avec la cognition située personnalisée

Résumé

Les modèles vision-langage (VLMs) alignés avec les objectifs humains généraux, tels que l'innocuité et l'absence d'hallucinations, sont devenus des assistants précieux pour les humains dans la gestion des tâches visuelles. Cependant, les personnes ayant des parcours diversifiés ont des cognitions différentes, même dans une même situation. Par conséquent, elles peuvent avoir des attentes personnalisées envers les assistants VLM. Cela met en lumière le besoin urgent d'aligner les assistants VLM avec une cognition située personnalisée pour une assistance dans le monde réel. Pour étudier ce problème, nous le simplifions d'abord en caractérisant les individus sur la base du concept sociologique de Rôle-Ensemble. Ensuite, nous proposons d'évaluer les actions des individus pour examiner si l'alignement personnalisé est atteint. De plus, nous construisons un benchmark nommé PCogAlignBench, qui comprend 18 000 instances et 20 individus avec différents Rôle-Ensembles. Enfin, nous présentons un cadre appelé PCogAlign, qui construit un modèle de récompense basé sur la cognition et les actions pour un alignement personnalisé. Les résultats expérimentaux et les évaluations humaines démontrent la fiabilité du PCogAlignBench et l'efficacité de notre PCogAlign proposé. Nous rendrons publics le benchmark et le code sur https://github.com/NLPGM/PCogAlign.

English

Vision-language models (VLMs) aligned with general human objectives, such as being harmless and hallucination-free, have become valuable assistants of humans in managing visual tasks. However, people with diversified backgrounds have different cognition even in the same situation. Consequently, they may have personalized expectations for VLM assistants. This highlights the urgent need to align VLM assistants with personalized situated cognition for real-world assistance. To study this problem, we first simplify it by characterizing individuals based on the sociological concept of Role-Set. Then, we propose to evaluate the individuals' actions to examine whether the personalized alignment is achieved. Further, we construct a benchmark named PCogAlignBench, which includes 18k instances and 20 individuals with different Role-Sets. Finally, we present a framework called PCogAlign, which constructs a cognition-aware and action-based reward model for personalized alignment. Experimental results and human evaluations demonstrate the reliability of the PCogAlignBench and the effectiveness of our proposed PCogAlign. We will open-source the constructed benchmark and code at https://github.com/NLPGM/PCogAlign.

Alignement des assistants VLM avec la cognition située personnalisée

Aligning VLM Assistants with Personalized Situated Cognition

Résumé

Support