引言

大型语言模型(Large Language Models，LLMs)近年来因其卓越的语言理解和生成能力而受到了广泛的关注。然而，这些模型也可能生成有害、侵犯隐私或者不安全的内容［1-2］，对用户和社会造成潜在的风险。而特定领域的大语言模型面向特定行业和特定需求，通常具有高度的专业性和敏感性，对安全要求更高。因此，对于非通用领域大模型来说，输出内容的安全性和合规性是主要的挑战之一。与现有方法不同，本研究提出的方法具有跨领域适用性，可以独立于LLMs的底层设计进行应用，并且通过干预模型输出来确保生成文本的安全性和合规性，从而为领域LLMs的安全控制提供了一种新颖且实用的解决方案。

为了有效控制大语言模型生成的内容，必须确保敏感信息的精准识别和安全过滤，同时满足特定场景的业务需求。为此，学者们提出了多种方法来增强模型的可靠性和内容质量，以应对这些问题。目前，主流的增强模型安全性和可靠性的方法是基于人类反馈的强化学习(Reinforcement Learning with Human Feedback，RLHF)［3］。通过人类反馈构建奖励模型，并利用该模型对LLMs进行训练，使其能够生成符合人类期望的内容。RLHF架构的多个变体也相继提出，如SafeRLHF［4］、SENSEI［5］和fDPG［6］，这些方法在不同方面进行了优化，如采用预训练的LLMs作为奖励模型，或者在信息检索领域中提升模型的表现［7］。然而，收集人类标注数据需要大量时间和成本。为了解决这一问题，一些研究提出了通过人工智能反馈代替人类反馈的强化学习［8］，从而降低对人类标注的依赖。还有研究致力于自动构建训练数据，以进一步降低成本和复杂性。为提高计算效率，差分偏好优化［9］是一种重要的尝试，该方法的核心思想是允许在不访问奖励模型的情况下使用相同的训练数据对LLMs进行训练。另一种常见的提高模型可靠性的方法是监督微调(Supervised FineTuning，SFT)［10］，该方法通过大规模标注数据集对模型进行微调，以提升模型对用户需求的响应能力。RLHF和SFT的共同点在于它们通过直接修改模型参数来提高模型的可靠性。

除了修改模型参数外，增强LLMs可靠性的另一种替代方法是直接干预输入提示或输出生成的过程。上下文学习(InContext Learning，ICL)［11］是通过干预输入提示的一种主要方法。在ICL中，通过提供少量示例，可以引导LLMs完成特定任务，例如少样本学习［12］，从而减少生成不合规内容的风险。此外，一些研究集中于干预输出生成的方式。文献［13］提出了用于检索应用的输出格式化方法，避免LLMs在输出中重复相同词汇或短语。此外，Transformers模块还提供了一些用于修正输出的函数，如NoBadWordsLogitsProcessor和MinLengthLogitsProcessor。

现有的LLMs安全性控制方法主要依赖于预训练模型本身的优化或后处理技术。然而，这些方法通常存在局限性，例如依赖底层模型的设计或难以适用于不同领域的文本生成需求。为了解决上述方法灵活性不足的问题，有学者对LLM的输出过滤技术进行了一些研究，即在LLM生成文本后实施内容审查，无需修改模型参数［14］。针对输出内容的过滤技术，当前主要是通过预定义敏感词库或正则表达式匹配拦截的基于规则的过滤，这种方法实现简单但泛化能力有限，难以识别语义变体以及进行细粒度权限控制［15］。

为了有效控制非通用领域大语言模型生成的内容，本文提出了一种基于数学建模、特征工程和分类算法的安全过滤控制方法，通过应用一个安全过滤器来干预LLMs的输出(即干预大语言模型生成序列的轨迹)，进而确保生成内容符合安全和合规标准，以生成用户期望的结果。该方法不仅独立于LLMs的设计，还能够灵活地应用于不同领域的文本生成场景，具有广泛的适用性和较强的实用价值。

本文主要贡献如下：

本文提出了一种面向特定领域大语言模型的内容安全控制机制，设计了一个添加于LLMs输出层的外部过滤器，从而实现无需访问其模型参数即可控制输出内容。这是一个新颖的“无需学习”的LLMs安全控制策略，它不依赖LLMs的底层设计，可以应用于多种特定领域的LLMs，具有良好的通用性和适应性。

此外，本文针对特定领域的行业特点和安全隐私特性，抽取了一些特征因素，并结合分类算法和特征工程，在大语言模型内容安全控制领域做出了一些新的尝试。与现有基于规则或词典的安全过滤方法不同，特征工程技术结合分类算法能够更精确地识别和过滤潜在的风险文本，极大提升了检测精度和适用范围。

本文详细内容请下载：

https://www.chinaaet.com/resource/share/2000006854

作者信息：

张欣欣1，李涛1，赵龙彪1，贾真真2，周衡广3

(1.中国人民解放军92981部队，北京100161；

2.中国人民解放军91977部队，北京100036；

3.中国人民解放军91526部队，广东湛江524064)