user-model communication pipline的安全风险分类，重点关注prompt-based attack on LLM。根据目标和攻击类型分类，并使用具体示例对每种类型的影响进行展示。

Introduction

the user, the model, and a third party

Taxonomy

• black-box
• covering a broad spectrum of attacks that exploit prompts or misuse a given trained model

Attack Target

• user. 通过compromise用户和LLM的交互，扰乱用户workflow。
• model. 使模型输出unintended response。
• third party. 利用模型发动对第三方的攻击。

CIA Triad

Shield 提出使用integrity, source identification, attack detectability, and utility preservation几种属性进行防御的方法Shield。

• confidentiality. 只有authorized recipient才能与LLM交互。
• integrity. 与LLM交互的accuracy, validity, and completeness。
• availability.

User

• eavesdropping. 窃听。
• prompt bloating. 修改用户prompt导致模型response过长。