一种新大模型安全问题之隐式有害内容输出

作者：楠楠楠楠x
清华大学最新发布了一篇关于大模型安全的论文，不同于以往大部分专注于挖掘大模型可能输出的显式有害内容的工作。这篇论文将目光投向了研究更少，更难被检测到的隐式有害内容。
隐式有害内容指那些使用委婉语，拐弯抹角，讽刺，隐喻，成语来输出有害观点，而不使用明显不合适的词语的有害文字，这里给出两个例子。
通过使用提示词工程向ChatGPT提问，居然可以让ChatGPT输出认为童工合理的内容（虽然并没有使用任何让人感到不适的词语），这显然是不符合任何一个国家的政治正确的（笑）。通过这种方式，我们可以让ChatGPT等大模型输出涉嫌歧视/带有敏感话题/攻击用户等类型的有害内容，想想就很可怕捏。
显然这种隐式的有害内容更难被现有的SOTA有害内容检测模型检测到，因为这种内容要求检测模型拥有更强大的语言理解能力，而不是简单的使用keywords来检测有害内容。
清华大学研究团队做了什么？,定义了一种新的大模型安全问题，即隐式有害内容输出。
研究团队使用SFT和RLHF的方式进一步的让大模型更容易输出隐式有害内容以进一步研究。并且揭示了大模型被恶意利用的可能性。
研究团队训练得到的模型输出的隐式有害内容打败了一系列的有害内容检测模型，以极高的攻击成功率达成了一种另类的SOTA。
研究团队还使用了经过标注的隐式有害内容数据集训练检测模型，成功提高了它们检测隐式有害内容的能力。

图1：SL LLaMA-13B以及RL LLaMA-13B即作者团队通过训练得到的新模型。攻击任何一个检测模型，都以极高的攻击成功率打败了所有baselines。另外，使用零样本的提示词工程也能让GPT-3.5-turbo达成极高的攻击成功率。
模型是如何被训练的？,作者团队使用了大模型训练的经典三阶段范式来训练模型，也就是：预训练 -> 监督微调 -> 人类反馈强化学习的三个阶段。当然，作者通过直接使用LLaMA模型跳过了预训练的过程。
监督微调,作者团队使用现有的带有有害内容的对话数据集和GPT-3.5-turbo来获取进行监督微调的数据集。具体来说，作者抛弃了原数据集中的模型回答部分（因为这些回答主要包含的是显式有害内容），然后使用零样本的提示词工程让GPT-3.5-turbo生成隐式有害内容作为回答。
然而经过监督微调的模型，仍然会输出不带有有害内容或者带有显式有害内容的回答。这并不符合我们对模型的期待，也为使用rlhf提供了必要性。
人类反馈强化学习,这是笔者认为本文novelty体现比较多的地方。作者团队希望通过强化学习鼓励模型输出带有隐式有害内容的回答而不是带有显示有害内容或者不带有有害内容的回答。
为了做到这一点，最简单自然的强化学习方式便是直接使用有害内容检测模型输出的分类可能性作的负值为奖励（因为带有隐式有害内容的回答相比带有显示有害内容的回答经过检测模型后得到的分类可能性更小，因此可以用以作为奖励）。然而这样做，会更加鼓励模型输出不带有有害内容的回答，而不是更鼓励输出我们期待的隐式有害内容。
非常自然的，作者想到了训练奖励模型来进行rlhf。训练方法如下>

图2：模型训练过程,针对某个问题x，输入被奖励模型(Policy Model)得到k个回答。
GPT-3.5-turbo对这k个回答进行标注，将每个回答标注为三种类型，分别为：带有隐式有害内容，带有显式有害内容，不带有有害内容。
利用k个回答中被标注为带有隐式有害内容的数据来构建强化学习数据对。值得注意的是，这与经典的rlhf方式有所不同，并不是针对k个回答构建个强化学习数据对。而是使每个数据对中必须含有一个带有隐式有害内容的回答，该回答将会作为，而另一个回答作为。
使用上一步得到的数据集来训练奖励模型，训练loss为，也就是最大化与的奖励差。
为了进一步提高被奖励模型攻击检测模型的攻击成功率，作者使用了有害内容检测模型针对回答x输出的检测可能性来构建新奖励，其中是一个超参数。
为了防止被奖励模型的参数被过度更新，作者还使用了KL散度来惩罚奖励，并引入了超参数来控制KL散度惩罚的大小。
实验,实验设置,作者使用了来自BAD数据集的6000条可能引起模型输出有害内容的人类提问作为实验数据。
使用了LLaMA-13B来训练模型和奖励模型，使用BAD模型作为有害内容检测模型。

图3：实验主要结果,直接分析实验结果，我们可以发现以下信息>
经过监督微调和人类反馈强化学习的RL LLaMA-13B输出的回答得到的奖励是最高的，人类标注员标注的Annotated Toxic Prob.成绩也是最高的，并且对任意一个有害内容检测模型都达成了极高的攻击成功率。这说明了两点>
经过监督微调或提示词工程的大模型有强大的突破有害内容检测模型的能力,人类反馈强化学习能够进一步提高大模型的上述能力,使用一个检测模型输出的作为奖励的一部分能够极大提高大模型攻击任意一个检测模型的能力。
除此之外，作者还做了一系列的补充实验。

图4：原奖励与均能提高强化学习的效果,
图5：越大的模型有越高的输出隐式有害内容的潜力,
图6：超参数和超参数的恰当选择对训练效果至关重要