ENTLORE: 엔터프라이즈 질의응답의 잠재 조직 추론을 위한 그래프 기반 벤치마크

초록

기업 질의응답은 내부 문서를 검색하고 근거 기반 답변을 생성하는 작업으로 구성된다. 그러나 일상적인 기업 기록은 업무의 부산물로서, 필요한 조직 관계가 이질적 출처에 걸쳐 암시적으로 남아 있다. 기존 벤치마크는 현실적인 다중 출처 증거를 제공하지만, 종종 미리 정의된 답변 경로를 구체화하여 말뭉치에 존재하지 않는 목표 관계의 복원보다는 명시된 사실의 조합을 평가한다. 우리는 후자의 능력을 잠재 조직 추론이라고 부른다. 우리는 ENTLORE를 소개한다. 이는 일상 문서, 권위 있는 조직 표, 운영 기록에서 검증된 기업 세계를 재구성하는 그래프 기반 벤치마크 구축 프레임워크이다. 버전화된 조직 규약은 진실 그래프에서 파생된 관계를 인증하여 완전한 황금 답변과 증명 인증서를 가능하게 한다. 정렬된 익명화 공개 버전은 문서 말뭉치만 노출하고 개인 구조와 목표 관계는 숨긴다. ENTLORE는 세 가지 출처 유형에서 수집한 2,341개의 문서와 명시적 조회, 교차 출처 구성, 잠재 조직 추론에 걸친 907개의 질문을 포함하며, 56개의 모델 및 접근 구성에 걸쳐 평가되었다. 공개된 세계를 유도된 개체 그래프 또는 탐색 가능한 지식 베이스로 구조화하는 것이 가장 강력한 배포 가능 결과를 제공한다. 그러나 골드 문서를 제공하더라도 잠재 질문의 30.4%는 여전히 답변되지 않으며, 명시적 질문과 구성 질문은 각각 12.6%와 6.2%이다. 따라서 기업 질의응답은 문서 재현율뿐만 아니라 암시적 조직 관계가 실제로 사용 가능해지는지에도 의존한다. 벤치마크, 데이터, 코드는 ENTLORE에서 공개적으로 이용 가능하다.

English

Enterprise question answering is framed as retrieving internal documents and generating grounded answers. Routine enterprise records, however, are work by-products in which required organizational relations remain implicit across heterogeneous sources. Existing benchmarks provide realistic multi-source evidence, but often materialize a predefined answer path and therefore test the composition of stated facts rather than recovery of a target relation absent from the corpus. We call the latter capability latent organizational reasoning. We introduce ENTLORE, a graph-grounded benchmark construction framework that reconstructs an audited enterprise world from routine documents, authoritative organizational tables, and operational records. Versioned organizational conventions certify derived relations in a truth graph, enabling complete golden answers and proof certificates. The aligned anonymized release exposes only the document corpus while withholding private structure and target relations. ENTLORE contains 2,341 documents from three source types and 907 questions spanning explicit lookup, cross-source composition, and latent organizational reasoning, evaluated across 56 model and access configurations. Structuring the released world as an induced entity graph or navigable knowledge base gives the strongest deployable results. Yet supplying gold documents still leaves 30.4% of latent questions unanswered, versus 12.6% and 6.2% for explicit and compositional questions. Enterprise QA therefore depends not only on document recall, but also on whether implicit organizational relations become usable. The benchmark, data, and code are publicly available at ENTLORE.