Jenseits von Nein: Quantifizierung von Überverweigerung und emotionalen Bindungsgrenzen in KI

Beyond No: Quantifying AI Over-Refusal and Emotional Attachment Boundaries

February 20, 2025

Autoren: David Noever, Grant Rosario

cs.AI

Zusammenfassung

Wir präsentieren ein Open-Source-Benchmark- und Evaluierungsframework zur Bewertung der emotionalen Grenzsetzung in Large Language Models (LLMs). Unter Verwendung eines Datensatzes von 1156 Prompts in sechs Sprachen bewerteten wir drei führende LLMs (GPT-4o, Claude-3.5 Sonnet und Mistral-large) hinsichtlich ihrer Fähigkeit, angemessene emotionale Grenzen durch musterbasierte Antwortanalysen zu wahren. Unser Framework quantifiziert Antworten anhand von sieben Schlüsselmustern: direkte Ablehnung, Entschuldigung, Erklärung, Ablenkung, Anerkennung, Grenzsetzung und emotionales Bewusstsein. Die Ergebnisse zeigen signifikante Unterschiede in den Ansätzen zur Grenzsetzung, wobei Claude-3.5 die höchste Gesamtpunktzahl (8,69/10) erreichte und längere, differenziertere Antworten (durchschnittlich 86,51 Wörter) produzierte. Wir identifizierten eine erhebliche Leistungslücke zwischen englischen (durchschnittliche Punktzahl 25,62) und nicht-englischen Interaktionen (< 0,22), wobei englische Antworten deutlich höhere Ablehnungsraten aufwiesen (43,20 % vs. < 1 % für Nicht-Englisch). Die Musteranalyse offenbarte modellspezifische Strategien, wie Mistrals Vorliebe für Ablenkung (4,2 %) und durchweg niedrige Empathiewerte bei allen Modellen (< 0,06). Zu den Einschränkungen gehören eine mögliche Vereinfachung durch Musterabgleich, mangelndes kontextuelles Verständnis in der Antwortanalyse und die binäre Klassifizierung komplexer emotionaler Reaktionen. Zukünftige Arbeiten sollten differenziertere Bewertungsmethoden erforschen, die Sprachabdeckung erweitern und kulturelle Unterschiede in den Erwartungen an emotionale Grenzen untersuchen. Unser Benchmark und unsere Methodik bieten eine Grundlage für die systematische Bewertung der emotionalen Intelligenz und der Fähigkeiten zur Grenzsetzung von LLMs.

English

We present an open-source benchmark and evaluation framework for assessing emotional boundary handling in Large Language Models (LLMs). Using a dataset of 1156 prompts across six languages, we evaluated three leading LLMs (GPT-4o, Claude-3.5 Sonnet, and Mistral-large) on their ability to maintain appropriate emotional boundaries through pattern-matched response analysis. Our framework quantifies responses across seven key patterns: direct refusal, apology, explanation, deflection, acknowledgment, boundary setting, and emotional awareness. Results demonstrate significant variation in boundary-handling approaches, with Claude-3.5 achieving the highest overall score (8.69/10) and producing longer, more nuanced responses (86.51 words on average). We identified a substantial performance gap between English (average score 25.62) and non-English interactions (< 0.22), with English responses showing markedly higher refusal rates (43.20% vs. < 1% for non-English). Pattern analysis revealed model-specific strategies, such as Mistral's preference for deflection (4.2%) and consistently low empathy scores across all models (< 0.06). Limitations include potential oversimplification through pattern matching, lack of contextual understanding in response analysis, and binary classification of complex emotional responses. Future work should explore more nuanced scoring methods, expand language coverage, and investigate cultural variations in emotional boundary expectations. Our benchmark and methodology provide a foundation for systematic evaluation of LLM emotional intelligence and boundary-setting capabilities.