AGE: Mascaramento Adaptativo para Embedding de Grafos na Geração Aumentada por Recuperação de Grafos

Resumo

GraphRAG é uma extensão da geração aumentada por recuperação (RAG) que apoia modelos de linguagem de grande escala (LLMs) ao referenciar dados estruturados em grafos como conhecimento externo. Embora essa técnica idealmente capture relações intrincadas, ela frequentemente enfrenta dificuldades com representações de grafos para LLMs, especialmente para LLMs congelados, devido ao desalinhamento entre características latentes baseadas em grafos e baseadas em texto. Abordamos esse problema introduzindo o {\it Mascaramento Adaptativo para Incorporação de Grafos (AGE)}. O AGE emprega um Transformer em uma abordagem de aprendizado auto-supervisionado (SSL) baseada em máscaras. Projetamos a arquitetura de forma similar aos codificadores de incorporação de texto, tratando o desalinhamento das características latentes. Em contraste com textos em linguagem natural, grafos são representações concisas, e existem {\it nós-chave} que contêm informações contextuais dominantes, difíceis de prever a partir de seus arredores. Mascarar tais nós-chave leva à ineficiência no processo de SSL. Portanto, o AGE foca em prever nós além dos nós-chave, utilizando um amostrador de nós aprendível. Nossos resultados experimentais indicam que o AGE melhora significativamente abordagens que utilizam componentes de busca não paramétrica em tarefas de GraphQA, alcançando precisão superior em quatro conjuntos de dados de referência com características distintas.

English

GraphRAG is an extension of retrieval-augmented generation (RAG) that supports large language models (LLMs) by referring to graph-structured data as external knowledge. While this technique ideally captures intricate relationships, it often struggles with graph representations for LLMs, particularly for frozen LLMs, due to the misalignment between graph-based and text-based latent features. We tackle this issue by introducing the {\it Adaptive-masking for Graph Embedding (AGE)}. AGE employs a Transformer in a mask-based self-supervised learning (SSL) approach. We designed the architecture similar to text embedding encoders, addressing the latent feature misalignment. In contrast to natural language texts, graphs are concise representations, and there exist {\it key nodes} that hold dominant contextual information, which are challenging to predict from their surroundings. Masking such key nodes leads to inefficiency in the SSL process. Therefore, AGE focuses on predicting nodes apart from key nodes, utilizing a learnable node sampler. Our experimental results indicate that AGE significantly improves approaches using non-parametric search component in GraphQA tasks, achieving superior accuracy across four benchmark datasets with distinct characteristics.