BiPhone: Modellierung interlingualer phonetischer Einflüsse in Texten

BiPhone: Modeling Inter Language Phonetic Influences in Text

July 6, 2023

Autoren: Abhirut Gupta, Ananya B. Sai, Richard Sproat, Yuri Vasilevski, James S. Ren, Ambarish Jash, Sukhdeep S. Sodhi, Aravindan Raghuveer

cs.AI

Zusammenfassung

Eine große Anzahl von Menschen ist aufgrund technologischer Asymmetrien gezwungen, das Web in einer Sprache zu nutzen, in der sie nur geringe Kenntnisse haben. Geschriebener Text in der Zweitsprache (L2) von solchen Nutzern enthält oft eine Vielzahl von Fehlern, die von ihrer Muttersprache (L1) beeinflusst sind. Wir schlagen eine Methode vor, um Phonemverwechslungen (Laute in L2, die ein L1-Sprecher wahrscheinlich verwechselt) für Paare von L1 und L2 zu ermitteln. Diese Verwechslungen werden dann in ein generatives Modell (Bi-Phone) integriert, um synthetisch verfälschten L2-Text zu erzeugen. Durch menschliche Bewertungen zeigen wir, dass Bi-Phone plausible Verfälschungen erzeugt, die sich zwischen verschiedenen L1s unterscheiden und auch eine breite Abdeckung im Web aufweisen. Wir verfälschen auch den beliebten Sprachverständnis-Benchmark SuperGLUE mit unserer Technik (FunGLUE für Phonetisch Verrauschte GLUE) und zeigen, dass State-of-the-Art-Sprachverständnismodelle schlecht abschneiden. Wir führen außerdem eine neue Phonemvorhersage-Vortrainingsaufgabe ein, die Byte-Modellen hilft, die Leistung nahe an SuperGLUE wiederherzustellen. Schließlich veröffentlichen wir auch den FunGLUE-Benchmark, um weitere Forschungen zu phonetisch robusten Sprachmodellen zu fördern. Nach unserem besten Wissen ist FunGLUE der erste Benchmark, der L1-L2-Interaktionen in Text einführt.

English

A large number of people are forced to use the Web in a language they have low literacy in due to technology asymmetries. Written text in the second language (L2) from such users often contains a large number of errors that are influenced by their native language (L1). We propose a method to mine phoneme confusions (sounds in L2 that an L1 speaker is likely to conflate) for pairs of L1 and L2. These confusions are then plugged into a generative model (Bi-Phone) for synthetically producing corrupted L2 text. Through human evaluations, we show that Bi-Phone generates plausible corruptions that differ across L1s and also have widespread coverage on the Web. We also corrupt the popular language understanding benchmark SuperGLUE with our technique (FunGLUE for Phonetically Noised GLUE) and show that SoTA language understating models perform poorly. We also introduce a new phoneme prediction pre-training task which helps byte models to recover performance close to SuperGLUE. Finally, we also release the FunGLUE benchmark to promote further research in phonetically robust language models. To the best of our knowledge, FunGLUE is the first benchmark to introduce L1-L2 interactions in text.