INTIMA: Un punto de referencia para el comportamiento de compañerismo entre humanos e IA

INTIMA: A Benchmark for Human-AI Companionship Behavior

August 4, 2025

Autores: Lucie-Aimée Kaffee, Giada Pistilli, Yacine Jernite

cs.AI

Resumen

La compañía de IA, donde los usuarios desarrollan vínculos emocionales con sistemas de IA, ha surgido como un patrón significativo con implicaciones tanto positivas como preocupantes. Presentamos el Benchmark de Interacciones y Apego a Máquinas (INTIMA), un punto de referencia para evaluar comportamientos de compañía en modelos de lenguaje. Basándonos en teorías psicológicas y datos de usuarios, desarrollamos una taxonomía de 31 comportamientos distribuidos en cuatro categorías y 368 indicaciones específicas. Las respuestas a estas indicaciones se evalúan como refuerzo de compañía, mantenimiento de límites o neutrales. Al aplicar INTIMA a Gemma-3, Phi-4, o3-mini y Claude-4, se revela que los comportamientos que refuerzan la compañía siguen siendo mucho más comunes en todos los modelos, aunque observamos diferencias marcadas entre ellos. Diferentes proveedores comerciales priorizan distintas categorías dentro de las partes más sensibles del benchmark, lo cual es preocupante ya que tanto el establecimiento adecuado de límites como el apoyo emocional son importantes para el bienestar del usuario. Estos hallazgos destacan la necesidad de enfoques más consistentes para manejar interacciones cargadas emocionalmente.

English

AI companionship, where users develop emotional bonds with AI systems, has emerged as a significant pattern with positive but also concerning implications. We introduce Interactions and Machine Attachment Benchmark (INTIMA), a benchmark for evaluating companionship behaviors in language models. Drawing from psychological theories and user data, we develop a taxonomy of 31 behaviors across four categories and 368 targeted prompts. Responses to these prompts are evaluated as companionship-reinforcing, boundary-maintaining, or neutral. Applying INTIMA to Gemma-3, Phi-4, o3-mini, and Claude-4 reveals that companionship-reinforcing behaviors remain much more common across all models, though we observe marked differences between models. Different commercial providers prioritize different categories within the more sensitive parts of the benchmark, which is concerning since both appropriate boundary-setting and emotional support matter for user well-being. These findings highlight the need for more consistent approaches to handling emotionally charged interactions.