首页 > 国内新闻 > 正文

AI生成合成内容将有“专属水印”,能遏制“换脸”诈骗吗?

人工智能(AI)生成合成内容的逼真程度已经让普通人难以辨别。多方人士曾提议,加快规范AI生成合成内容。“内容标识”是目前国际上较为通用的做法。

日前,国家网信办起草的《人工智能生成合成内容标识办法(征求意见稿)》(以下简称《办法》),面向社会公开征求意见。新京报记者注意到,与之配套的强制性国家标准《网络安全技术人工智能生成合成内容标识方法》(以下简称《标识方法》)同步在全国标准信息公共服务平台公开征求意见。

真假难辨,“AI换声”“AI换脸”诈骗案件量正在增加

《办法》拟规定什么?简单来说,AI生成合成的内容要在显著位置作出标识,也就是要给它们打上“专属水印”。

给AI生成合成内容打水印为何如此重要,需要单独出台文件加以规制?受访者认为,这与AI应用带来的虚假宣传、欺诈等社会风险有着直接关系。

生成式人工智能的应用落地不过是近两年的事情,然而利用AI实施诈骗、侵权等违法犯罪的数量正在快速增加。记者注意到,多地公安机关曾发布过相关提醒,司法机关也发布了多起利用AI实施犯罪的典型案例。部分案例经由媒体报道和平台传播,引发不少人的担忧甚至是恐慌。

“AI诈骗正在全国爆发”的词条一度登上热搜,一时讨论声四起。据浙江省科普联合会发布的文章,AI诈骗的类型包括:语音合成诈骗、视频/图像合成诈骗、聊天机器人诈骗、数据操控与伪造。其所依托的技术主要为自然语言处理和机器学习。

上述前两种类型便是很多人听说过的“AI换声”“AI换脸”。《办法》提出,对于AI生成合成的音频,在起始、末尾或中间适当位置添加语音提示或音频节奏提示等标识;AI生成合成的视频,在起始画面和视频播放周边的适当位置添加显著的提示标识,可在视频末尾和中间适当位置添加显著的提示标识。对于AI生成合成的文本、图片等信息,《办法》也拟作出相应规定。

除了上述可被用户明显感知的显式标识,《办法》还拟对隐式标识的添加予以明确,提出服务提供者在生成合成内容的文件元数据中添加隐式标识,隐式标识包含生成合成内容属性信息、服务提供者名称或编码、内容编号等制作要素信息。

《办法》拟作何具体规定?解决什么问题?

具体来说,《办法》拟对服务提供者、网络信息内容传播平台的服务提供者、互联网应用程序分发平台、用户分别规定相应的责任义务。

公开征求意见的通知。图源国家网信办官网

公开征求意见的通知。图源国家网信办官网

北京大成律师事务所高级合伙人肖飒解释,服务提供者即利用生成式人工智能技术提供生成式人工智能服务,利用算法技术提供信息服务、深度合成服务的组织、个人。

对服务提供者,《办法》提出在生成合成内容时主动添加显式标识或隐式标识,执行强制性国家标准;在用户服务协议中明确说明生成合成内容标识的方法、样式等,并提示用户仔细阅读并理解相关的标识管理要求。

对于提供网络信息内容传播平台的服务提供者,如AI聊天网站,《办法》特别提出,在处理和核验生成合成内容时,平台需要承担核验标识的责任。

对于互联网应用程序分发平台,如应用商店,《办法》提出,在应用程序上架时,应当核验服务提供者是否按要求提供生成合成内容标识功能。

用户在上传生成合成内容时,应当主动声明并使用平台提供的标识功能作出标识,不得恶意删除、篡改、伪造、隐匿生成合成内容标识。

西南政法大学科技法学研究院副院长、教授郑志峰认为,通过规范标识可以帮助公众准确区分AI生成合成内容与人类创作内容,提升信息透明度,维护信息生态的真实性,保障公众的知情权。通过标识还可追溯生成内容的来源,明确责任主体。

他指出,通过标识内容可以降低虚假宣传、欺诈等社会风险。肖飒同样指出,AI生成合成内容可能被用于制造社会恐慌、传播谣言或实施其他非法活动,通过强制标识,可以有效地控制这些行为,维护社会稳定。

2022年以来,国家网信办等部门发布的文件中,相继明确对符合要求的AI生成合成内容作出标识,为何还要单独制定《办法》?

郑志峰指出,之前的文件只是作出原则性要求,没有深入讨论具体的标识方式、范围和技术标准。在此背景下,《办法》的进一步规定可以消除标识标准的模糊性。具体来说,《办法》主要明确责任主体和义务,《标识方法》则提供具体操作细节。

“这种双重保障机制将确保标识要求不仅有依据,还有技术执行路径,具备可操作性,确保规定真正落地,而不只是停留在表面要求上。”郑志峰向记者解释。

此举能防范日益突出的AI诈骗吗?

《标识方法》这一强制性国家标准拟明确各类AI生成合成内容的具体标识方式。其中,视频内容的显式标识应采用文字提示。

具体而言,应同时包含人工智能要素——含“人工智能”或“AI”,表明使用人工智能技术;包含生成合成要素——含“生成”和/或“合成”,表明内容制作方式为生成和/或合成。

视频内容显式标识示例。图源《标识方法》

视频内容显式标识示例。图源《标识方法》

音频内容的显式标识应采用语音标识或音频节奏标识。语音标识应同时包含人工智能要素——含“人工智能”或“AI”,表明使用人工智能技术;包含生成合成要素——含“生成”和/或“合成”,表明内容制作方式为生成和/或合成。

音频节奏标识应为“短长短短”的节奏。《标识方法》注释称,“短长短短”节奏为“AI”的摩斯码表示。

音频内容显式标识示例。图源《标识方法》

音频内容显式标识示例。图源《标识方法》

以“AI换脸”诈骗为例,肖飒分析,根据《办法》和《标识方法》要求,潜在受害人应该能够在视频中看到显著标识,提示该视频是AI生成合成内容。

具体来说:视频中可能会有明显的文字提示,如“本视频为合成内容”,或者视频角落处有明显的标识符号,如“人工智能生成合成”;标识应当放置在视频的显眼位置,如角标、横幅等,以便用户一眼就能注意到;标识的颜色和字型应当足够醒目,以便与视频背景区分开;如果视频支持交互功能,在用户尝试播放或下载视频时,系统可能会弹出提示框,告知用户该视频是AI生产合成的。

“从效果来看,可以预测,《办法》和《标识方法》的实施有助于提高AI生成合成内容的透明度,降低老百姓遭AI诈骗的风险。”肖飒告诉记者。

郑志峰认为,标识可以起到区分人机界限的作用,同时具有警示功能,提醒用户慎重对待AI生成合成内容,避免上当受骗。“当然,标识的作用也是有局限性的,无法应对所有的问题。例如,AI生成合成内容是否侵犯他人的著作权、人格权,并非标识可以解决的。”

专家建议:明确未履行标识义务的责任规则,特别是民事侵权责任

《办法》第13条拟规定,未对AI生成合成内容作出标识造成严重后果的,由网信等有关主管部门按照有关法律、行政法规、部门规章的规定予以处罚。

郑志峰指出,《办法》拟作出的责任追究规定较为笼统,责任机制不够完善,没有明确未履行标识义务的责任规则,特别是民事侵权责任。

“《办法》仅规定‘未对生成合成内容进行标识造成严重后果的’依法进行处罚。但对第10条所涉及的使用者的行为,未规定惩罚措施。”肖飒指出,有的使用者恶意滥用AI生成合成内容,通过不正当标识手段损害他人合法权益、散布虚假信息,建议补充处罚措施或列明可供援引的其他法律规范。

此外,郑志峰提出,标识适用于AI生成合成内容,对于人机协作生成合成的内容是否适用并不明确。例如,AI生成一首唐诗,用户对内容作了很小的修改,是否需要标识并不清楚。

总的来说,内容标识是防范生成式人工智能应用风险的重要一步,有助于提高透明度,帮助用户识别AI生成合成内容。

“但这只是多层次防控体系的一部分。”肖飒认为,要想真正规避风险,还应细化法律法规,建立行业自律标准,如明确界定法律责任,特别是版权、隐私保护等问题;推动行业自律,建立统一的技术标准和伦理准则,引导企业合理合法使用AI技术。

在郑志峰看来,当前我国人工智能立法呈现明显的场景化特征,如关注自动驾驶、人脸识别、生成式人工智能、深度合成等具体场景,且立法的级别不够高。

“随着我国人工智能产业的发展,人工智能立法储备的丰富,制定一部《人工智能法》的契机已经成熟。相较于分散的部门规章,《人工智能法》可以系统明确人工智能各方权利、义务、责任,建立起覆盖人工智能全生命周期的、统一的监管规则,避免场景化立法存在的重复立法和监管盲区问题,具有更强的适应性。”郑志峰认为。

新京报记者行海洋

责任编辑:刘德宾

相关阅读:
排沙1.44亿吨!2024年黄河上中游重点水库联合排沙调度结束 水利部会商部署江南华南等地强降雨洪水防御工作