本文围绕大模型在实际应用中生成有害内容的问题展开，介绍了传统有害内容分类方法的不足，阐述了程泽磊团队提出的新颖双层优化框架，该框架能增强模型对不确定分布风险的鲁棒性，还介绍了此方法的优势、应用场景、研究阶段，以及团队后续的拓展计划。
近年来，随着大模型在实际应用中的迅速普及，人们逐渐意识到这些模型存在一定的隐患。它们可能会生成有害、带有偏见或者不准确的内容。有些用户会要求模型生成包含仇恨、误导或暴力性质的内容，甚至会通过“越狱”攻击（也就是利用特定输入诱导模型输出不良内容）的方式，迫使模型产生有害信息。这种有害内容一旦传播开来，会给个人和社会带来极为严重的后果。所以，开发一个能够稳健识别和分类有害内容的模型，就成了当下亟待解决的问题。
传统的有害内容分类方法存在明显的缺陷。它通常依赖单一标注者为每个数据实例提供标签，这种单一视角根本无法反映人类多样化的判断标准。这就导致分类模型在不同语境下的适应性很差。而且，在仅采用经验风险最小化方法训练的模型中，还存在虚假特征干扰的问题。模型可能只是利用一些表面特征来预测有害内容，而没有识别其深层次的因果关系。这样一来，当数据分布发生变化时，模型的性能就会大幅下降。比如，某些用语在训练集中可能表现为非有害，但在实际情境中却可能包含有害信息。
为了解决这些问题，北京邮电大学本科校友、美国普渡大学硕士毕业生、美国西北大学博士生程泽磊及其所在团队，提出了一种新颖的双层优化框架。该框架引入了“软标签”技术，把多标注者的标注信息整合到模型训练中，同时结合群体分布稳健优化技术，对模型训练时的损失函数进行优化，以此增强模型对不确定分布风险的鲁棒性。这个方法的创新之处在于，它能够根据输入样本来动态调整标注者的标注信息在“软标签”中的权重，让模型在处理不同分组数据时表现得更加稳健。此外，团队还从理论上证明了该双层优化算法的收敛性，保证了模型在处理复杂语境和分布变化时的稳健性和高效性。
图 | 程泽磊（来源：程泽磊）
审稿人认为，该方法在分类准确性和稳健性方面都优于现有的方法。具体来说，模型在平均准确率和最差分组准确率（即模型在最具挑战性的情境下的表现）上，都超过了基线方法。审稿人还强调，该研究通过整合多标注者的视角，在多样化语境下实现了更高效的有害内容分类。这种方法有助于提升人工智能模型在不同文化和语言背景下的适应性，不仅在技术上处于领先地位，也为构建更加公平的人工智能系统奠定了基础。
该成果主要用于增强大模型的内容安全性，具体应用场景如下：
内容安全监管：社交媒体、评论平台和其他在线内容平台可以应用这种稳健的有害内容检测系统，在自动检测和屏蔽有害内容时提高准确性，避免误判非有害内容。
人工智能客服系统：企业的自动客服系统可以引入该技术，实时监测并过滤潜在有害信息，既能防止用户遭受恶意信息侵害，又能提升用户体验。
教育和咨询服务：在教育和在线学习平台中，该技术可以帮助识别和过滤潜在有害或误导性内容，确保教育环境的健康和安全。
政府和政策监督：此技术可用于政府监管平台，实时监测和分析公众舆论，尤其是涉及仇恨言论、虚假信息和恐怖威胁等内容，从而更好地应对内容安全问题。
本次研究主要经历了以下几个阶段：
研究团队基于第三方安全公司的大模型有害内容数据，首先发现了大模型在有害内容分类领域存在的不足，比如标注数据的多样性不足、模型对分布变化过于敏感等问题，同时对已有的稳健优化技术进行了调研。
在调研的基础上，团队提出了基于双层优化的软标签整合方法，目的是增强分类模型的分布鲁棒性，并结合群体分布稳健优化来调整模型在不同分组间的权重，优化其在不确定环境下的表现。
团队使用PyTorch框架开发了实验模型，并在第三方提供的数据集和公开的HateXplain数据集上验证了其效果。
通过多次实验，团队进一步调整了模型参数，确保其在不同情境下的稳健性，并通过对比分析展示了该方法在处理分布变化和多标注数据方面的优越性。
在实验验证后，团队证明了算法的收敛性，并将研究结果整理成论文，被机器学习顶级会议NeurIPS’2024接收。
在研究过程中，团队对多标注者的数据整合方式进行了多次尝试，发现了许多意想不到的现象。例如，人类标注者对于一些职场道德有关的回复不太敏感，而且受到文化背景的影响，对特定的俚语用词也不够敏感。大模型（如GPT – 4 Turbo、Claude – 2等）在对不同文化背景的内容进行标注时，表现出较强的分类能力，但在判定逻辑较为复杂的有害内容时，不如人类标注者。这些现象促使团队深入思考不同标注者之间的权重分配策略，最终启发研究人员提出了基于群体分布稳健优化的方法。
团队计划进一步拓展该研究的应用场景，具体有以下几个方向：
多模态内容检测：研究团队打算将该方法扩展到多模态内容上，处理不仅包含文本，还包含图片、视频等多种媒介的有害内容。由于不同媒介间的信息交互非常复杂，所以需要在算法上进行创新。
模型公平性优化：团队将致力于进一步优化模型的公平性，通过定期检测和缓解潜在的标注偏见，确保系统在多样化背景下的公正性和准确性。这包括定期审查标注数据，更新模型参数等措施。
其他安全应用扩展：该框架具有通用性，可用于其他安全相关任务，如通过人类反馈调整大模型对特定响应的反馈评分，提高模型在应对不确定性情境下的表现。
本文介绍了大模型在应用中生成有害内容的问题，指出传统分类方法的不足，详细阐述了程泽磊团队提出的双层优化框架及其优势，说明了该成果在多个领域的应用场景、研究阶段，还提及研究中的发现以及团队未来的拓展计划。该研究为解决大模型有害内容分类难题提供了新的思路和方法，具有重要的理论和实践意义。
原创文章，作者：行云乐易，如若转载，请注明出处：https://www.xiaoyaoxin.com/archives/789.html
