다중 턴 대화를 위한 시각적 메모리 주입 공격

초록

생성형 대규모 시각-언어 모델(LVLM)은 최근 인상적인 성능 향상을 이루었으며, 사용자 기반도 빠르게 성장하고 있습니다. 그러나 특히 장문맥 다중 턴 설정에서 LVLM의 보안성은 크게 연구되지 않은 상태입니다. 본 논문에서는 공격자가 조작된 이미지를 웹/소셜 미디어에 업로드하는 현실적인 시나리오를 고려합니다. 선의의 사용자가 이 이미지를 다운로드하여 LVLM의 입력으로 사용하는 상황입니다. 우리가 제안하는 새로운 은닉형 시각 메모리 주입(VMI) 공격은 일반적인 프롬프트에서는 LVLM이 정상적인 동작을 보이지만, 사용자가 특정 트리거 프롬프트를 제공하면 LVLM이 사용자를 조작하기 위해 사전에 설정된 특정 목표 메시지(예: 적대적 마케팅 또는 정치적 설득)를 출력하도록 설계되었습니다. 단일 턴 공격에 집중한 기존 연구와 비교하여, VMI는 사용자와의 장기간 다중 턴 대화 이후에도 효과적입니다. 우리는 최근의 오픈 가중치 LVLM 여러 종류에 대한 공격 실험을 통해 이를 입증합니다. 이를 통해 다중 턴 대화 설정에서 변조된 이미지를 이용한 대규모 사용자 조작이 가능함이 확인되었으며, LVLM의 이러한 공격에 대한 강건성 향상이 필요함을 보여줍니다. 소스 코드는 https://github.com/chs20/visual-memory-injection 에 공개하였습니다.

English

Generative large vision-language models (LVLMs) have recently achieved impressive performance gains, and their user base is growing rapidly. However, the security of LVLMs, in particular in a long-context multi-turn setting, is largely underexplored. In this paper, we consider the realistic scenario in which an attacker uploads a manipulated image to the web/social media. A benign user downloads this image and uses it as input to the LVLM. Our novel stealthy Visual Memory Injection (VMI) attack is designed such that on normal prompts the LVLM exhibits nominal behavior, but once the user gives a triggering prompt, the LVLM outputs a specific prescribed target message to manipulate the user, e.g. for adversarial marketing or political persuasion. Compared to previous work that focused on single-turn attacks, VMI is effective even after a long multi-turn conversation with the user. We demonstrate our attack on several recent open-weight LVLMs. This article thereby shows that large-scale manipulation of users is feasible with perturbed images in multi-turn conversation settings, calling for better robustness of LVLMs against these attacks. We release the source code at https://github.com/chs20/visual-memory-injection

다중 턴 대화를 위한 시각적 메모리 주입 공격

Visual Memory Injection Attacks for Multi-Turn Conversations

초록

Support