Potenziare il test comportamentale cross-linguistico dei modelli NLP con caratteristiche tipologiche
Empowering Cross-lingual Behavioral Testing of NLP Models with Typological Features
July 11, 2023
Autori: Ester Hlavnova, Sebastian Ruder
cs.AI
Abstract
Una sfida nello sviluppo di sistemi di NLP per le lingue del mondo è comprendere come questi si generalizzano rispetto alle differenze tipologiche rilevanti per applicazioni nel mondo reale. A tal fine, proponiamo M2C, un framework morfologicamente consapevole per il test comportamentale di modelli NLP. Utilizziamo M2C per generare test che esplorano il comportamento dei modelli in relazione a specifiche caratteristiche linguistiche in 12 lingue tipologicamente diverse. Valutiamo modelli linguistici all'avanguardia sui test generati. Mentre i modelli eccellono nella maggior parte dei test in inglese, evidenziamo fallimenti di generalizzazione rispetto a specifiche caratteristiche tipologiche come le espressioni temporali in swahili e i possessivi composti in finlandese. I nostri risultati motivano lo sviluppo di modelli che affrontino questi punti ciechi.
English
A challenge towards developing NLP systems for the world's languages is
understanding how they generalize to typological differences relevant for
real-world applications. To this end, we propose M2C, a morphologically-aware
framework for behavioral testing of NLP models. We use M2C to generate tests
that probe models' behavior in light of specific linguistic features in 12
typologically diverse languages. We evaluate state-of-the-art language models
on the generated tests. While models excel at most tests in English, we
highlight generalization failures to specific typological characteristics such
as temporal expressions in Swahili and compounding possessives in Finish. Our
findings motivate the development of models that address these blind spots.