Проект SHADOW: Символическое дедуктивное мышление высшего порядка на Wikidata с использованием исследования LM.

Project SHADOW: Symbolic Higher-order Associative Deductive reasoning On Wikidata using LM probing

August 27, 2024

Авторы: Hanna Abi Akl

cs.AI

Аннотация

Мы представляем SHADOW, тонко настроенную языковую модель, обученную на промежуточной задаче с использованием ассоциативного дедуктивного рассуждения, и измеряем ее производительность на задаче построения базы знаний с использованием завершения троек Wikidata. Мы оцениваем SHADOW на вызове LM-KBC 2024 и показываем, что она превосходит базовое решение на 20% с F1-оценкой 68.72%.

English

We introduce SHADOW, a fine-tuned language model trained on an intermediate task using associative deductive reasoning, and measure its performance on a knowledge base construction task using Wikidata triple completion. We evaluate SHADOW on the LM-KBC 2024 challenge and show that it outperforms the baseline solution by 20% with a F1 score of 68.72%.