프로젝트 SHADOW: LM 프로빙을 사용한 위키데이터에서의 심볼릭 고차 연상 추론

Project SHADOW: Symbolic Higher-order Associative Deductive reasoning On Wikidata using LM probing

August 27, 2024

저자: Hanna Abi Akl

cs.AI

초록

우리는 SHADOW를 소개합니다. SHADOW는 연관 추론을 사용하여 중간 작업에서 훈련된 세밀하게 조정된 언어 모델로, Wikidata 삼중 완성을 사용한 지식 베이스 구축 작업의 성능을 측정합니다. 우리는 SHADOW를 LM-KBC 2024 도전 과제에서 평가하고, F1 점수가 68.72%인 20%의 베이스라인 솔루션을 능가한다는 것을 보여줍니다.

English

We introduce SHADOW, a fine-tuned language model trained on an intermediate task using associative deductive reasoning, and measure its performance on a knowledge base construction task using Wikidata triple completion. We evaluate SHADOW on the LM-KBC 2024 challenge and show that it outperforms the baseline solution by 20% with a F1 score of 68.72%.