Os Modelos de Linguagem de Grande Escala Realizam Raciocínio Multi-Hop de Forma Latente?

Do Large Language Models Latently Perform Multi-Hop Reasoning?

February 26, 2024

Autores: Sohee Yang, Elena Gribovskaya, Nora Kassner, Mor Geva, Sebastian Riedel

cs.AI

Resumo

Investigamos se os Modelos de Linguagem de Grande Escala (LLMs) realizam latente raciocínio multi-hop com prompts complexos, como "A mãe do cantor de 'Superstition' é". Buscamos evidências de um caminho de raciocínio latente em que um LLM (1) identifica latente "o cantor de 'Superstition'" como Stevie Wonder, a entidade ponte, e (2) utiliza seu conhecimento sobre a mãe de Stevie Wonder para completar o prompt. Analisamos esses dois hops individualmente e consideramos sua coocorrência como indicativa de raciocínio multi-hop latente. Para o primeiro hop, testamos se alterar o prompt para mencionar indiretamente a entidade ponte, em vez de qualquer outra entidade, aumenta a recuperação interna da entidade ponte pelo LLM. Para o segundo hop, testamos se aumentar essa recuperação faz com que o LLM utilize melhor o que sabe sobre a entidade ponte. Encontramos fortes evidências de raciocínio multi-hop latente para prompts de certos tipos de relação, com o caminho de raciocínio sendo usado em mais de 80% dos prompts. No entanto, a utilização é altamente contextual, variando entre diferentes tipos de prompts. Além disso, em média, as evidências para o segundo hop e a travessia multi-hop completa são bastante moderadas e apenas substanciais para o primeiro hop. Adicionalmente, encontramos uma clara tendência de escalonamento com o aumento do tamanho do modelo para o primeiro hop de raciocínio, mas não para o segundo hop. Nossas descobertas experimentais sugerem desafios e oportunidades potenciais para o desenvolvimento e aplicações futuras de LLMs.

English

We study whether Large Language Models (LLMs) latently perform multi-hop reasoning with complex prompts such as "The mother of the singer of 'Superstition' is". We look for evidence of a latent reasoning pathway where an LLM (1) latently identifies "the singer of 'Superstition'" as Stevie Wonder, the bridge entity, and (2) uses its knowledge of Stevie Wonder's mother to complete the prompt. We analyze these two hops individually and consider their co-occurrence as indicative of latent multi-hop reasoning. For the first hop, we test if changing the prompt to indirectly mention the bridge entity instead of any other entity increases the LLM's internal recall of the bridge entity. For the second hop, we test if increasing this recall causes the LLM to better utilize what it knows about the bridge entity. We find strong evidence of latent multi-hop reasoning for the prompts of certain relation types, with the reasoning pathway used in more than 80% of the prompts. However, the utilization is highly contextual, varying across different types of prompts. Also, on average, the evidence for the second hop and the full multi-hop traversal is rather moderate and only substantial for the first hop. Moreover, we find a clear scaling trend with increasing model size for the first hop of reasoning but not for the second hop. Our experimental findings suggest potential challenges and opportunities for future development and applications of LLMs.