RetrieveGPT: Integração de Prompts e Modelos Matemáticos para Aprimorar a Recuperação de Informação em Código-Misto
RetrieveGPT: Merging Prompts and Mathematical Models for Enhanced Code-Mixed Information Retrieval
November 7, 2024
Autores: Aniket Deroy, Subhankar Maity
cs.AI
Resumo
A mistura de códigos (code-mixing), a integração de elementos lexicais e gramaticais de múltiplos idiomas numa única frase, é um fenómeno linguístico generalizado, particularmente prevalente em sociedades multilíngues. Na Índia, os utilizadores de redes sociais frequentemente envolvem-se em conversas com mistura de códigos usando o alfabeto romano, especialmente entre comunidades de migrantes que formam grupos online para partilhar informações locais relevantes. Este artigo centra-se nos desafios da extração de informações relevantes de conversas com mistura de códigos, especificamente dentro do contexto do Bengalí transliterado para o alfabeto romano e misturado com Inglês. Este estudo apresenta uma nova abordagem para enfrentar estes desafios, desenvolvendo um mecanismo para identificar automaticamente as respostas mais relevantes de conversas com mistura de códigos. Realizámos experiências com um conjunto de dados composto por consultas e documentos do Facebook, e ficheiros de Relevância de Consulta (QRels) para auxiliar nesta tarefa. Os nossos resultados demonstram a eficácia da nossa abordagem na extração de informações pertinentes de conversas digitais complexas e com mistura de códigos, contribuindo para o campo mais amplo do processamento de linguagem natural em ambientes de texto multilíngues e informais. Utilizamos o GPT-3.5 Turbo através de *prompting*, juntamente com a natureza sequencial de documentos relevantes, para formular um modelo matemático que ajuda a detetar documentos relevantes correspondentes a uma consulta.
English
Code-mixing, the integration of lexical and grammatical elements from
multiple languages within a single sentence, is a widespread linguistic
phenomenon, particularly prevalent in multilingual societies. In India, social
media users frequently engage in code-mixed conversations using the Roman
script, especially among migrant communities who form online groups to share
relevant local information. This paper focuses on the challenges of extracting
relevant information from code-mixed conversations, specifically within Roman
transliterated Bengali mixed with English. This study presents a novel approach
to address these challenges by developing a mechanism to automatically identify
the most relevant answers from code-mixed conversations. We have experimented
with a dataset comprising of queries and documents from Facebook, and Query
Relevance files (QRels) to aid in this task. Our results demonstrate the
effectiveness of our approach in extracting pertinent information from complex,
code-mixed digital conversations, contributing to the broader field of natural
language processing in multilingual and informal text environments. We use
GPT-3.5 Turbo via prompting alongwith using the sequential nature of relevant
documents to frame a mathematical model which helps to detect relevant
documents corresponding to a query.