Capacitando Testes Comportamentais Translinguísticos de Modelos de PLN com Características Tipológicas
Empowering Cross-lingual Behavioral Testing of NLP Models with Typological Features
July 11, 2023
Autores: Ester Hlavnova, Sebastian Ruder
cs.AI
Resumo
Um desafio no desenvolvimento de sistemas de PLN para as línguas do mundo é compreender como eles generalizam para diferenças tipológicas relevantes em aplicações do mundo real. Para isso, propomos o M2C, uma estrutura morfologicamente consciente para testes comportamentais de modelos de PLN. Utilizamos o M2C para gerar testes que investigam o comportamento dos modelos em relação a características linguísticas específicas em 12 idiomas tipologicamente diversos. Avaliamos modelos de linguagem state-of-the-art nos testes gerados. Embora os modelos se destaquem na maioria dos testes em inglês, destacamos falhas de generalização para características tipológicas específicas, como expressões temporais em suaíli e possessivos compostos em finlandês. Nossas descobertas motivam o desenvolvimento de modelos que abordem essas lacunas.
English
A challenge towards developing NLP systems for the world's languages is
understanding how they generalize to typological differences relevant for
real-world applications. To this end, we propose M2C, a morphologically-aware
framework for behavioral testing of NLP models. We use M2C to generate tests
that probe models' behavior in light of specific linguistic features in 12
typologically diverse languages. We evaluate state-of-the-art language models
on the generated tests. While models excel at most tests in English, we
highlight generalization failures to specific typological characteristics such
as temporal expressions in Swahili and compounding possessives in Finish. Our
findings motivate the development of models that address these blind spots.