Связывание смысла слов: разрешение неоднозначности за пределами песочницы.

Word Sense Linking: Disambiguating Outside the Sandbox

December 12, 2024

Авторы: Andrei Stefan Bejgu, Edoardo Barba, Luigi Procopio, Alberte Fernández-Castro, Roberto Navigli

cs.AI

Аннотация

Задача разрешения многозначности слов (Word Sense Disambiguation, WSD) заключается в ассоциировании слова в данном контексте с наиболее подходящим значением из набора возможных вариантов. Несмотря на то, что в последнее время наблюдается возросший интерес к этой задаче, и системы достигают результатов выше оцененного согласия между аннотаторами, на момент написания статьи она все еще испытывает затруднения в поиске прикладных применений. Мы считаем, что одной из причин этого является сложность применения WSD к обычному тексту. Действительно, в стандартной формулировке модели работают с предположениями, что а) все фрагменты для разрешения многозначности уже были идентифицированы, и б) все возможные кандидаты на значения для каждого фрагмента предоставлены, что является требованиями, далекими от тривиальности. В данной работе мы представляем новую задачу под названием Связывание Значений Слов (Word Sense Linking, WSL), где, имея на входе текст и справочный инвентарь значений, системы должны как определить, какие фрагменты нужно разрешить, так и связать их с наиболее подходящим значением. Мы предлагаем архитектуру на основе трансформера для этой задачи и тщательно оцениваем как ее производительность, так и производительность передовых систем WSD, масштабированных до WSL, итеративно смягчая предположения WSD. Мы надеемся, что наша работа способствует более легкой интеграции лексической семантики в прикладные приложения.

English

Word Sense Disambiguation (WSD) is the task of associating a word in a given context with its most suitable meaning among a set of possible candidates. While the task has recently witnessed renewed interest, with systems achieving performances above the estimated inter-annotator agreement, at the time of writing it still struggles to find downstream applications. We argue that one of the reasons behind this is the difficulty of applying WSD to plain text. Indeed, in the standard formulation, models work under the assumptions that a) all the spans to disambiguate have already been identified, and b) all the possible candidate senses of each span are provided, both of which are requirements that are far from trivial. In this work, we present a new task called Word Sense Linking (WSL) where, given an input text and a reference sense inventory, systems have to both identify which spans to disambiguate and then link them to their most suitable meaning.We put forward a transformer-based architecture for the task and thoroughly evaluate both its performance and those of state-of-the-art WSD systems scaled to WSL, iteratively relaxing the assumptions of WSD. We hope that our work will foster easier integration of lexical semantics into downstream applications.