INTIMA: Ein Benchmark für das Verhalten von Mensch-KI-Begleitung

INTIMA: A Benchmark for Human-AI Companionship Behavior

August 4, 2025

papers.authors: Lucie-Aimée Kaffee, Giada Pistilli, Yacine Jernite

cs.AI

papers.abstract

KI-Kameradschaft, bei der Nutzer emotionale Bindungen zu KI-Systemen entwickeln, hat sich als ein bedeutendes Muster mit sowohl positiven als auch besorgniserregenden Implikationen herausgestellt. Wir stellen den „Interactions and Machine Attachment Benchmark“ (INTIMA) vor, einen Benchmark zur Bewertung von Kameradschaftsverhalten in Sprachmodellen. Basierend auf psychologischen Theorien und Nutzerdaten entwickeln wir eine Taxonomie von 31 Verhaltensweisen, die in vier Kategorien und 368 gezielte Prompts unterteilt sind. Die Reaktionen auf diese Prompts werden als kameradschaftsfördernd, grenzenwahrend oder neutral bewertet. Die Anwendung von INTIMA auf Gemma-3, Phi-4, o3-mini und Claude-4 zeigt, dass kameradschaftsfördernde Verhaltensweisen bei allen Modellen deutlich häufiger vorkommen, obwohl wir deutliche Unterschiede zwischen den Modellen feststellen. Verschiedene kommerzielle Anbieter priorisieren unterschiedliche Kategorien innerhalb der sensibleren Teile des Benchmarks, was bedenklich ist, da sowohl angemessene Grenzsetzung als auch emotionale Unterstützung für das Wohlbefinden der Nutzer von Bedeutung sind. Diese Ergebnisse unterstreichen die Notwendigkeit für konsistentere Ansätze im Umgang mit emotional aufgeladenen Interaktionen.

English

AI companionship, where users develop emotional bonds with AI systems, has emerged as a significant pattern with positive but also concerning implications. We introduce Interactions and Machine Attachment Benchmark (INTIMA), a benchmark for evaluating companionship behaviors in language models. Drawing from psychological theories and user data, we develop a taxonomy of 31 behaviors across four categories and 368 targeted prompts. Responses to these prompts are evaluated as companionship-reinforcing, boundary-maintaining, or neutral. Applying INTIMA to Gemma-3, Phi-4, o3-mini, and Claude-4 reveals that companionship-reinforcing behaviors remain much more common across all models, though we observe marked differences between models. Different commercial providers prioritize different categories within the more sensitive parts of the benchmark, which is concerning since both appropriate boundary-setting and emotional support matter for user well-being. These findings highlight the need for more consistent approaches to handling emotionally charged interactions.