Modelos de Linguagem Alinhados por Pixel

Pixel Aligned Language Models

December 14, 2023

Autores: Jiarui Xu, Xingyi Zhou, Shen Yan, Xiuye Gu, Anurag Arnab, Chen Sun, Xiaolong Wang, Cordelia Schmid

cs.AI

Resumo

Modelos de linguagem de grande escala têm alcançado grande sucesso nos últimos anos, assim como suas variantes na área de visão. Os modelos existentes de visão e linguagem são capazes de descrever imagens em linguagem natural, responder a perguntas relacionadas a aspectos visuais ou realizar raciocínios complexos sobre a imagem. No entanto, ainda não está claro como tarefas de localização, como a ancoragem de palavras ou a localização referencial, podem ser realizadas usando modelos de linguagem de grande escala. Neste trabalho, nosso objetivo é desenvolver um modelo de visão e linguagem que possa utilizar localizações, como um conjunto de pontos ou caixas delimitadoras, tanto como entradas quanto como saídas. Quando as localizações são usadas como entradas, o modelo realiza legendagem condicionada à localização, gerando legendas para o objeto ou região indicada. Ao gerar localizações como saídas, nosso modelo regride coordenadas de pixels para cada palavra de saída gerada pelo modelo de linguagem, realizando assim a ancoragem densa de palavras. Nosso modelo é pré-treinado no conjunto de dados Localized Narrative, que contém legendas alinhadas a pixels com base na atenção humana. Demonstramos que nosso modelo pode ser aplicado a diversas tarefas de visão e linguagem com consciência de localização, incluindo localização referencial, legendagem condicionada à localização e legendagem densa de objetos, alcançando desempenho de ponta em RefCOCO e Visual Genome. Página do projeto: https://jerryxu.net/PixelLLM.

English

Large language models have achieved great success in recent years, so as their variants in vision. Existing vision-language models can describe images in natural languages, answer visual-related questions, or perform complex reasoning about the image. However, it is yet unclear how localization tasks, such as word grounding or referring localization, can be performed using large language models. In this work, we aim to develop a vision-language model that can take locations, for example, a set of points or boxes, as either inputs or outputs. When taking locations as inputs, the model performs location-conditioned captioning, which generates captions for the indicated object or region. When generating locations as outputs, our model regresses pixel coordinates for each output word generated by the language model, and thus performs dense word grounding. Our model is pre-trained on the Localized Narrative dataset, which contains pixel-word-aligned captioning from human attention. We show our model can be applied to various location-aware vision-language tasks, including referring localization, location-conditioned captioning, and dense object captioning, archiving state-of-the-art performance on RefCOCO and Visual Genome. Project page: https://jerryxu.net/PixelLLM .