OneKE: Система извлечения знаний на основе агента LLM с управляемой схемой в Docker

OneKE: A Dockerized Schema-Guided LLM Agent-based Knowledge Extraction System

December 28, 2024

Авторы: Yujie Luo, Xiangyuan Ru, Kangwei Liu, Lin Yuan, Mengshu Sun, Ningyu Zhang, Lei Liang, Zhiqiang Zhang, Jun Zhou, Lanning Wei, Da Zheng, Haofen Wang, Huajun Chen

cs.AI

Аннотация

Мы представляем OneKE - систему извлечения знаний с управляемой схемой, запущенную в Docker, которая может извлекать знания из веб-ресурсов и необработанных PDF-книг, а также поддерживать различные области (наука, новости и т. д.). Конкретно, мы разработали OneKE с несколькими агентами и настраиваемой базой знаний. Различные агенты выполняют свои роли, обеспечивая поддержку различных сценариев извлечения. Настраиваемая база знаний облегчает настройку схемы, отладку ошибок и их исправление, что дополнительно повышает производительность. Эмпирические оценки на эталонных наборах данных демонстрируют эффективность OneKE, а кейс-исследования дополнительно поясняют его адаптивность к различным задачам в различных областях, выделяя его потенциал для широкого применения. Мы опубликовали исходный код на https://github.com/zjunlp/OneKE и выпустили видео на http://oneke.openkg.cn/demo.mp4.

English

We introduce OneKE, a dockerized schema-guided knowledge extraction system, which can extract knowledge from the Web and raw PDF Books, and support various domains (science, news, etc.). Specifically, we design OneKE with multiple agents and a configure knowledge base. Different agents perform their respective roles, enabling support for various extraction scenarios. The configure knowledge base facilitates schema configuration, error case debugging and correction, further improving the performance. Empirical evaluations on benchmark datasets demonstrate OneKE's efficacy, while case studies further elucidate its adaptability to diverse tasks across multiple domains, highlighting its potential for broad applications. We have open-sourced the Code at https://github.com/zjunlp/OneKE and released a Video at http://oneke.openkg.cn/demo.mp4.