Plus de contexte, des modèles plus grands ou des connaissances morales ? Une étude systématique de la détection des valeurs de Schwartz dans les textes politiques

Résumé

La détection des valeurs de Schwartz dans les textes politiques est difficile car les indices implicites dépendent souvent des arguments environnants et des distinctions subtiles entre des valeurs voisines. Nous étudions quand le contexte et les connaissances morales explicites aident à la détection des valeurs au niveau des phrases. En utilisant le format ValuesML/Touch{é} ValueEval, nous comparons des entrées au niveau de la phrase, d'une fenêtre contextuelle et du document entier ; des configurations sans RAG et avec augmentation par récupération (RAG) utilisant une base de connaissances morales constituée ; des encodeurs supervisés DeBERTa-v3-base/large ; et des LLM en zero-shot de 12B à 123B paramètres. Les résultats montrent que davantage de contexte n'est pas uniformément bénéfique : le contexte du document entier améliore les encodeurs DeBERTa supervisés de 3,8 à 4,8 points de macro-F1 par rapport à une entrée uniquement composée de phrases, mais n'aide pas systématiquement les LLM en zero-shot. Les connaissances morales récupérées sont plus systématiquement utiles dans les comparaisons appariées, améliorant chaque famille de modèles testée et chaque condition de contexte en fusion précoce. Cependant, passer de DeBERTa-v3-base à large et de 12B à des LLM plus grands ne garantit pas de gains, et la fusion précoce simple surpasse les variantes de RAG avec fusion tardive et attention croisée testées pour les encodeurs. Les analyses par valeur montrent que le contexte et la récupération aident le plus pour les valeurs socialement situées ou conceptuellement confondues. Ces résultats suggèrent que le TAL sensible aux valeurs devrait évaluer conjointement le contexte, les connaissances et la famille de modèles, plutôt que de considérer des entrées plus longues ou des modèles plus grands comme des améliorations universelles.

English

Detecting Schwartz values in political text is difficult because implicit cues often depend on surrounding arguments and fine-grained distinctions between neighboring values. We study when context and explicit moral knowledge help sentence-level value detection. Using the ValuesML/Touch{é} ValueEval format, we compare sentence, window, and full-document inputs; no-RAG and retrieval-augmented settings with a curated moral knowledge base; supervised DeBERTa-v3-base/large encoders; and zero-shot LLMs from 12B to 123B parameters. The results show that more context is not uniformly better: full-document context improves supervised DeBERTa encoders by 3.8--4.8 macro-F1 points over sentence-only input, but does not consistently help zero-shot LLMs. Retrieved moral knowledge is more consistently useful in matched comparisons, improving each tested model family and context condition under early fusion. However, scaling from DeBERTa-v3-base to large and from 12B to larger LLMs does not guarantee gains, and simple early fusion outperforms the tested late-fusion and cross-attention RAG variants for encoders. Per-value analyses show that context and retrieval help most for socially situated or conceptually confusable values. These findings suggest that value-sensitive NLP should evaluate context, knowledge, and model family jointly rather than treating longer inputs or larger models as universal improvements.