人工智能浪潮中，安全治理迈向“深水区”

本文聚焦近期人工智能热潮，阐述了人工智能生成合成内容带来的真假难辨问题及风险隐患，介绍了国家四部门联合发布的《人工智能生成合成内容标识办法》，探讨如何让人工智能生成合成内容“亮明身份”，并深入分析了该办法的意义、实施举措以及当前人工智能安全治理面临的挑战和方向。

在江苏省苏州市“人工智能 +”创新发展推进大会上，展示了先进的人形机器人。（新华社发）

【经济界面】

当夜幕降临，喧嚣退去，有人在网络的世界里与它倾心交谈，寻求心灵的慰藉；在热闹非凡的视频带货直播间，有人借助它的力量，迅速炮制出极具吸引力的营销文案；同学聚会的欢乐氛围中，有人用它当场赋诗，为聚会增添别样的雅趣。这个无处不在的“神奇伙伴”，就是如今许多人眼中贴心的“生活好帮手”、得力的“工作好搭子”——人工智能（AI）大模型。

近期，多款大模型产品如璀璨星辰般横空出世，迅速在全球范围内掀起了一股人工智能的热潮。然而，在这繁荣景象的背后，一些不和谐的现象也悄然滋生。部分人利用人工智能生成合成虚假内容，他们或是为了吸引大众的眼球、赚取流量，或是妄图以假乱真、实施造谣诈骗等不法行为，这些行为带来了一定的风险和隐患，引起了社会各界的广泛关注。

近日，国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布了《人工智能生成合成内容标识办法》（以下简称《办法》）。该《办法》紧紧抓住人工智能“生成合成内容标识”这一关键要点，通过为内容添加标识的方式，提醒用户仔细辨别虚假信息。同时，明确了相关服务主体在标识方面的责任和义务，对内容制作、传播等各个环节的标识行为进行了规范。《办法》将于 2025 年 9 月 1 日起正式施行。

那么，如何才能让人工智能生成合成内容清晰地“亮明身份”，不再让公众陷入“真假难辨”的困境？又该如何破解人工智能安全治理这一难题呢？带着这些问题，记者展开了深入的采访。

人工智能合成让人真假难辨

在短视频平台的海量内容中，我们时常会刷到一些令人惊叹的视频：可爱的小猫小狗伴随着欢快的音乐翩翩起舞，家中天真无邪的“萌娃”勇敢地与大公鸡展开“大战”……然而，这些传播量和点赞量极高的“神奇视频”，并非都是真实拍摄的，其中有不少是由人工智能生成合成的。

所谓人工智能生成合成内容，是指利用先进的人工智能技术生成、合成的文本、图片、音频、视频、虚拟场景等各类信息。

近年来，人工智能技术犹如一列高速行驶的列车，发展速度日新月异。它为生成合成文字、图片、音频、视频等信息提供了极为便利的工具，使得海量信息能够在短时间内快速生成并在网络平台上广泛传播。这些信息在促进经济发展、丰富网上内容、便利公众生活等方面发挥了积极作用，但同时也引发了一系列问题。比如，生成合成技术被滥用，破坏了网络生态环境，这些问题引起了社会各界的高度关注。

一位演员曾无奈地表示：“一些喜欢我参演的影视剧的观众，被 AI 换脸视频骗得很惨，这个性质非常恶劣。”他希望能够建立更加完善的规范来约束此类行为。事实上，不少公众人物都遭遇过类似的困扰。

公安部的数据显示，近两年来，全国共发生“AI 换脸”类诈骗案近百起，累计造成的经济损失高达 2 亿元。

中国工程院院士、浙江大学教授陈纯指出：“人工智能生成合成内容日益逼真，也催生了虚假消息传播、身份信息冒充、恶意内容生成等新型安全风险，这对公众对网络传播内容的信任根基造成了严重的削弱。”

中国电子信息产业发展研究院副总工程师刘权认为，人工智能大模型本身存在不可解释性问题。大模型的运作机制如同一个神秘的“黑箱”，其不透明性导致了不可解释性。这种不可解释性降低了大模型的可信度，使得其输出的内容可能存在事实性错误和偏差，特别是在医疗、金融等对可信度要求极高的领域，难以满足严苛的可信要求。

中国社会科学院大学互联网法治研究中心主任刘晓春表示，通过人工智能生成合成技术，大大降低了内容“伪造”“造假”等行为的时间成本。尤其在图片、音频、视频等领域，从早期引起广泛关注的“换脸”工具，到伪造人声、通话视频的诈骗活动，再到“被压在废墟下的小男孩”等热点事件，人工智能技术带来的深度伪造、虚假信息、不良信息、抄袭侵权等问题，对包括内容治理在内的网络空间秩序构成了严峻挑战，也对治理工具、方式和手段提出了更新更高的要求。

数据显示，截至 2024 年底，共有 302 款生成式人工智能服务在国家网信办完成备案，其中当年新增 238 款备案。

中国科学院计算技术研究所数字内容合成与伪造检测实验室主任、研究员曹娟认为：“当前，大模型能够生成高真实感的文本、人像、场景、音频，普通民众如果不借助专业的检测工具，往往很难辨别内容的真伪。”随着生成式人工智能技术在各个行业的广泛落地应用，生成合成内容的数据规模呈现出快速增长的态势。对这些生成内容进行全面检测的成本过高，而且生成合成内容的适用场景大幅扩展，这也助长了欺骗场景的多样化。

打造可信赖的 AI 技术

《办法》的推出，是我国在人工智能领域推进安全治理、促进产业规范健康发展、引导技术向善的一项重要举措。它标志着我国在生成式人工智能领域朝着构建安全可信生态迈出了关键的一步。

国家互联网信息办公室有关负责人介绍，《办法》重点解决“哪些是生成的”“谁生成的”“从哪里生成的”等核心问题，致力于推动从生成到传播各环节的全流程安全管理，力争打造可信赖的人工智能技术。

针对服务提供者，《办法》明确规定，应当对文本、音频、图片、视频、虚拟场景等生成合成内容添加显式标识。在提供生成合成内容下载、复制、导出等功能时，应当确保文件中含有满足要求的显式标识；同时，还应当在生成合成内容的文件元数据中添加隐式标识。

针对互联网应用程序分发平台，《办法》提出，在应用程序上架或者上线审核时，应当要求互联网应用程序服务提供者说明是否提供人工智能生成合成服务，并核验其生成合成内容标识相关材料。

针对用户，《办法》提出，用户使用网络信息内容传播服务发布生成合成内容的，应当主动声明并使用服务提供者提供的标识功能进行标识。

此外，任何组织和个人不得恶意删除、篡改、伪造、隐匿本办法规定的生成合成内容标识，不得为他人实施上述恶意行为提供工具或者服务，不得通过不正当标识手段损害他人合法权益。

该负责人表示：“《办法》以合理的成本提高了安全性，促进了人工智能在文本对话、内容制作、辅助设计等各应用场景的加快落地。同时，减轻了人工智能生成合成技术滥用带来的危害，防范了利用人工智能技术制作传播虚假信息等风险行为，推动了人工智能健康有序发展。”

中国政法大学数据法治研究院教授张凌寒认为，人工智能生成内容标识制度具备独特的制度价值。标识能够有效区分出人工智能生成合成的信息，防范虚假信息的传播利用；标识能够帮助用户快速了解生成式人工智能产品和服务的相关属性或参数信息；标识能够协助监管部门对生成式人工智能产品或服务实施评估、追溯等监管，推进人工智能生成合成内容合法合规发展。

张凌寒还表示，目前，人工智能生成合成内容标识制度主要关注“是否机器生成”的形式判断。随着标识技术的不断进步与发展，未来标识制度能够发挥更为丰富的功能，从形式判断逐渐转向“是否足够可靠”的质量判断，进一步促进行业健康发展。

安全治理进入“深水区”

良法善治，重在实施。

为了推动《办法》的落地实施，强制性国家标准《网络安全技术人工智能生成合成内容标识方法》同步发布，这将更好地指导相关主体规范开展标识活动。

曹娟指出：“当前，人工智能安全治理已从危害探讨进入实际执法的深水区。”大模型生成技术迭代更新的速度极快，平均每两个月就会出现新的里程碑模型。因此，提升针对新生伪造方法的泛化能力至关重要，需要摒弃“来一个打一枪”的事后思维，构建 AI 鉴伪底座模型，提高鉴伪模型的泛化适用性能。

曹娟还表示，要研究精准化对抗鉴伪技术，防范恶意逃避风险。同时，降低对无害生成内容传播的影响，兼顾生成内容应用的发展与治理，打造全民化伪造检测工具，推动人人可用鉴伪。

公安部第三研究所副所长金波说：“可以预见，我国人工智能安全执法将延续重点事项监管、促进产业有序发展的方向。”伴随标识管理与算法备案、安全评估等机制逐步实现有机衔接，生成合成内容标识合规或将成为相关部门开展人工智能监督检查、专项行动的重点关注领域。在此进程中，如何平衡好发展与安全、创新与责任，提升执法的专业化、精细化、智慧化水平，从而培育出安全、开放、公平的人工智能产业生态环境，还需要深入探究。

金波还表示：“此外，‘人的因素’应融入人工智能标识管理的全过程。”要着重提升公众对信息内容真实性、来源可追溯性的评估能力，积极培育公众的人工智能素养，确保人工智能技术成果能够普惠共享。

在陈纯看来，《办法》的落地离不开全社会的凝心聚力和协同配合。地方主管部门、高校、科研机构、企业可以共同参与，形成标识工作先行的多点协同内容治理网络，推动标识工作行稳致远。此外，有必要建立全国性的内容标识公共服务平台，以可视可交互的实际操练形式，促进公众和产业深入理解标识工作。

陈纯说：“生成式人工智能促使信息技术从普通工具属性向‘思维伙伴’型高智能化工具属性进化，带来颠覆性发展机遇，未来势必成为我们的必备技能，这要求我们在使用时切实正确理解并管理人工智能。”

本文围绕人工智能生成合成内容的现状、问题及应对措施展开。指出其在带来便利的同时，也产生了虚假信息、安全风险等问题。《人工智能生成合成内容标识办法》的出台是规范行业的重要举措，它明确了各方责任，有望打造可信赖的 AI 技术。但人工智能安全治理进入“深水区”，仍面临技术迭代快、平衡发展与安全等挑战，需要全社会协同配合，提升公众素养，以促进人工智能产业健康有序发展。