Jatmo: Prompt Injection Defense by Task-Specific Finetuning

Jatmo:生成可以抵抗prompt injection的用于具体任务的模型(task-specific models)。Insight:LLM只能完成在LLM上进行过instruction微调的指令。Jatmo使用teacher instruction-tuned模型生成具体任务的数据集,然后使用该数据集微调base模型(即没有指令微调过的模型)。Jatmo只需要1个task prompt以及针对该任务的inputs数据集,此后Jatmo会利用teacher模型生成outputs。如果没有现存数据集,Jatmo可以使用1个样例或不使用样例,生成合成的数据集。在6个数据集上进行测试,显示Jatmo可以在具体任务上和标准LLM生成相同质量的输出。但Jatmo的输出可以抵抗prompt injection,针对本文的模型最佳攻击的成功率不到 0.5%,而针对 GPT-3.5-Turbo 的成功率超过 90%。

Prompt Injection

Untitled

Approach

Untitled