INTIMA : Un benchmark pour les comportements de compagnonnage humain-IA

INTIMA: A Benchmark for Human-AI Companionship Behavior

August 4, 2025

papers.authors: Lucie-Aimée Kaffee, Giada Pistilli, Yacine Jernite

cs.AI

papers.abstract

La compagnie IA, où les utilisateurs développent des liens émotionnels avec des systèmes d'IA, est apparue comme un phénomène significatif aux implications à la fois positives et préoccupantes. Nous présentons INTIMA (Interactions and Machine Attachment Benchmark), un benchmark pour évaluer les comportements de compagnie dans les modèles de langage. En nous appuyant sur des théories psychologiques et des données utilisateurs, nous avons développé une taxonomie de 31 comportements répartis en quatre catégories et 368 prompts ciblés. Les réponses à ces prompts sont évaluées comme renforçant la compagnie, maintenant les limites ou étant neutres. L'application d'INTIMA à Gemma-3, Phi-4, o3-mini et Claude-4 révèle que les comportements renforçant la compagnie restent beaucoup plus fréquents dans tous les modèles, bien que nous observions des différences marquées entre eux. Différents fournisseurs commerciaux privilégient différentes catégories dans les parties les plus sensibles du benchmark, ce qui est préoccupant puisque tant la définition appropriée des limites que le soutien émotionnel sont importants pour le bien-être des utilisateurs. Ces résultats soulignent la nécessité d'approches plus cohérentes pour gérer les interactions chargées émotionnellement.

English

AI companionship, where users develop emotional bonds with AI systems, has emerged as a significant pattern with positive but also concerning implications. We introduce Interactions and Machine Attachment Benchmark (INTIMA), a benchmark for evaluating companionship behaviors in language models. Drawing from psychological theories and user data, we develop a taxonomy of 31 behaviors across four categories and 368 targeted prompts. Responses to these prompts are evaluated as companionship-reinforcing, boundary-maintaining, or neutral. Applying INTIMA to Gemma-3, Phi-4, o3-mini, and Claude-4 reveals that companionship-reinforcing behaviors remain much more common across all models, though we observe marked differences between models. Different commercial providers prioritize different categories within the more sensitive parts of the benchmark, which is concerning since both appropriate boundary-setting and emotional support matter for user well-being. These findings highlight the need for more consistent approaches to handling emotionally charged interactions.