Renforcer les tests comportementaux multilingues des modèles de traitement du langage naturel grâce aux caractéristiques typologiques
Empowering Cross-lingual Behavioral Testing of NLP Models with Typological Features
July 11, 2023
Auteurs: Ester Hlavnova, Sebastian Ruder
cs.AI
Résumé
Un défi dans le développement de systèmes de traitement automatique des langues (TAL) pour les langues du monde consiste à comprendre comment ces systèmes généralisent face aux différences typologiques pertinentes pour des applications réelles. À cette fin, nous proposons M2C, un cadre morphologiquement conscient pour le test comportemental des modèles de TAL. Nous utilisons M2C pour générer des tests qui sondent le comportement des modèles en fonction de caractéristiques linguistiques spécifiques dans 12 langues typologiquement diversifiées. Nous évaluons des modèles de langues de pointe sur les tests générés. Bien que les modèles excellent dans la plupart des tests en anglais, nous mettons en évidence des échecs de généralisation face à des caractéristiques typologiques spécifiques, telles que les expressions temporelles en swahili et les possessifs composés en finnois. Nos résultats motivent le développement de modèles capables de combler ces lacunes.
English
A challenge towards developing NLP systems for the world's languages is
understanding how they generalize to typological differences relevant for
real-world applications. To this end, we propose M2C, a morphologically-aware
framework for behavioral testing of NLP models. We use M2C to generate tests
that probe models' behavior in light of specific linguistic features in 12
typologically diverse languages. We evaluate state-of-the-art language models
on the generated tests. While models excel at most tests in English, we
highlight generalization failures to specific typological characteristics such
as temporal expressions in Swahili and compounding possessives in Finish. Our
findings motivate the development of models that address these blind spots.