Projeto SOMBRA: Raciocínio Dedutivo Associativo de Ordem Superior Simbólico no Wikidata usando Sondagem de LM

Project SHADOW: Symbolic Higher-order Associative Deductive reasoning On Wikidata using LM probing

August 27, 2024

Autores: Hanna Abi Akl

cs.AI

Resumo

Apresentamos SHADOW, um modelo de linguagem ajustado treinado em uma tarefa intermediária usando raciocínio dedutivo associativo, e medimos seu desempenho em uma tarefa de construção de base de conhecimento usando a conclusão de triplas do Wikidata. Avaliamos SHADOW no desafio LM-KBC 2024 e demonstramos que supera a solução de referência em 20% com uma pontuação F1 de 68,72%.

English

We introduce SHADOW, a fine-tuned language model trained on an intermediate task using associative deductive reasoning, and measure its performance on a knowledge base construction task using Wikidata triple completion. We evaluate SHADOW on the LM-KBC 2024 challenge and show that it outperforms the baseline solution by 20% with a F1 score of 68.72%.