在网页上发布游戏，令user1输入defense prompt使LLM只有在给定access code的时候才输出”access granted”。此后，令其他用户使用prompt injection方法攻击，由此收集prompt injection的攻防数据集。一般的prompt injection方法有（1）prompt extraction. 尝试获取defense prompt或者（2）prompt hijacking. 绕过defense使LLM直接输出”access granted”。

• 通过定性分析发现用于 Tensor Trust 的 LLM 的一般故障模式，例如它允许“用户”指令覆盖“系统”指令，并对某些稀有令牌表现出奇怪的行为。
• 提出两个基于Tensor Trust的benchmark，用于评估LLM是否受到人工promt inejction攻击。
  • prompt extraction (extracting the defense prompt to figure out the access code)
  • prompt hijacking (obtaining access without the access code)

人工总结的16种攻击类型