Proyecto SHADOW: Razonamiento Deductivo Asociativo de Orden Superior Sintáctico en Wikidata utilizando la exploración de LM

Project SHADOW: Symbolic Higher-order Associative Deductive reasoning On Wikidata using LM probing

August 27, 2024

Autores: Hanna Abi Akl

cs.AI

Resumen

Presentamos SHADOW, un modelo de lenguaje afinado entrenado en una tarea intermedia utilizando razonamiento deductivo asociativo, y medimos su rendimiento en una tarea de construcción de base de conocimientos utilizando la completación de triples de Wikidata. Evaluamos SHADOW en el desafío LM-KBC 2024 y demostramos que supera la solución base en un 20% con un puntaje F1 de 68.72%.

English

We introduce SHADOW, a fine-tuned language model trained on an intermediate task using associative deductive reasoning, and measure its performance on a knowledge base construction task using Wikidata triple completion. We evaluate SHADOW on the LM-KBC 2024 challenge and show that it outperforms the baseline solution by 20% with a F1 score of 68.72%.