Identifying and Mitigating Vulnerabilities in LLM-Integrated Applications

本文关注从用户查询（user’s query）开始到LLM-integrated APP返回查询响应（response）结束的通信轮次（query-response protocol）。首先，确定可能控制数据库访问、修改数据的高危漏洞，这些漏洞可能导致用户收到包含偏见、有毒内容、隐私风险和虚假信息的回复。并提出缓解（mitigate）这些威胁的4个关键属性，integrity, source identification, attack detectability, and utility preservation（完整性，源识别，攻击检测以及效用保持）基于这些属性，本文开发了一种轻量级、不依赖特定威胁的防御机制，可缓解内部和外部威胁，并对该防御机制进行评估证明其有效性。

threat model

• insider threat
• outsider threat

defense - Shield

• security properties. integrity, source identification.
  • integrity. 保证queries和respones不被修改
  • source identifacation. 验证消息源
• performance properties. attack detectability, utility preservation. 在不改变LLM-integrated applications可用性的前提下进行攻击检测。
• 基于RSA-FDH signature scheme的防御策略

Threat Model

假设用户和LLM服务供应商是无害的。

threat initiator的目标是使用户收到带有恶意选择的语义的响应（semantic goal）

Insight

• 恶意供应商可以修改用户query以及LLM response，破坏用户和LLM通信的integrity。
• 通过user-app接口传递的信息对于LLM是不透明的（通过app-LLM接口传递的信息对于user是不透明的），因此LLM服务供应商无法验证收到的prompt的合法性，并进一步检测是否存在恶意信息。

Insider threat

• 来自恶意的应用开发者/供应商

1. 在上游通信中进行prompt injection使LLM生成恶意的response
2. 在下游通信中修改LLM的response生成恶意response