换脸拟声等AI技术被滥用,平台如何发力“精准识别”?

资讯 » 科技头条 2025-07-21

法治网微信公众号


近期,据中央网信办通报,“清朗·整治AI技术滥用”专项行动自2025年4月启动以来,中央网信办聚焦AI换脸拟声侵犯公众权益、AI内容标识缺失误导公众等AI技术滥用乱象,深入推进第一阶段重点整治任务。通报披露,第一阶段累计处置违规小程序、应用程序、智能体等AI产品3500余款,清理违法违规信息96万余条,处置账号3700余个。

随着AI换脸、拟声等这些AI技术的出现,给治理带来哪些挑战?目前整治AI技术滥用的难点在哪里?对于平台企业而言,如何才能切实提高审核识别能力?日前,法治网研究院邀请南开大学法学院副院长陈兵、中国人民大学信息文明与国家治理研究所所长黄尹旭、北京交通大学法学院数据法学研究中心主任付新华、《法治日报》律师专家库成员李瑞,围绕相关话题展开一场深入对谈。

01 法治网研究院:针对近来不断被媒体曝出的换脸、拟声等各种AI技术滥用乱象,您认为,当前整治AI技术滥用的难点在哪里?

黄尹旭:当前,AI滥用手段的进化速度可能超过检测技术,深度伪造已从简单的面部替换升级到动态表情、光影细节的模拟,有些经过对抗性训练绕过现有检测工具。检测系统刚识别出像素异常特征,滥用者就可能添加噪声、调整参数来规避。

滥用内容的隐蔽性越来越强,可能只是在真实视频中替换几秒对话,或在新闻里夹杂小段AI生成文字,传统批量扫描技术很难识别局部篡改。

还有,各平台的监测标准、处置流程不一,难以形成全链条拦截。

李瑞:我认为主要难点有三个:一是技术迭代迅猛,随着人工智能技术的飞速发展,深度伪造技术的质量不断提升,已经日益逼近甚至超越真实水平,而传统的识别模型在这种高速变化面前显得力不从心,难以跟上技术发展的步伐。

二是责任主体呈现碎片化状态,从最初的训练数据收集、模型托管服务、分发平台运营,到最终的终端用户使用,整个链条极为冗长且复杂。这种多环节、多主体的分散格局,使得取证过程变得异常艰难,归责问题也变得错综复杂,难以厘清。

三是治理标准存在明显缺位,现行的《互联网信息服务深度合成管理规定》仅作为部门规章,其罚则相对偏软,缺乏足够的威慑力,更为关键的是,对于境外开源模型的监管,我们目前还缺乏有效的管辖手段。这一漏洞亟需通过配套的刑法修正案以及建立跨境协同机制来加以弥补和完善,以确保治理体系的全面性和有效性。

02 法治网研究院:针对AI技术滥用乱象,平台企业应如何提升审核识别能力,建立长效治理机制?

陈兵:平台需提升技术能力,加强内容审核,完善内容标识,特别是做好内部合规治理,树牢主体责任意识,强化主体责任担当。一是提升多模态AI检测能力,筑牢技术基础,结合声纹、语义、画面匹配度识别AI内容,使其能快速、准确地识别涉嫌违法违规、侵犯权益的AI生成内容。

二是建立“AI+人工”分层审核机制,AI 负责对大量内容进行快速检测和初步判断,筛选疑似 AI滥用的高风险内容或账户,推送人工复审。

三是推进内容标识制度,一方面强制要求用户对AI生成内容进行显性标识,另一方面采用隐式标识追踪AI内容的生成源头和传播路径,为打击滥用行为提供线索。

四是加强内部合规管理和法治学习力度,转变观念,强化主体意识与主体责任,在规范中发展,在发展中规范,走长远可持续健康发展之道。

黄尹旭:对于平台企业而言,需要依据《人工智能生成合成内容标识办法》等,从源头嵌入标识机制,附带不可篡改的数字水印或区块链标识,并实现经过剪辑、压缩也能被识别,明确内容属性。

平台企业还需要升级多模态检测技术,针对文本、图像、音频等不同形态,开发融合特征的检测模型;建立分层监测机制,对金融、政务等高风险场景实施深度检测,必要时人工复核;结合技术防御与机制约束,在鼓励AI创新的同时,有效遏制技术滥用。

李瑞:在技术监测层面,应该依据《生成式人工智能服务管理暂行办法》等法规,构建全流程监测机制。具体措施包括:严格合规筛查数据输入,确保训练数据的合法性,防范侵权风险;在模型运行时嵌入算法审计模块,实时监测虚假生成、歧视性输出等潜在风险;在输出端部署内容溯源技术,保障AI生成内容的可追溯性,便于管理审核。

当然,平台企业构建长效治理机制同样至关重要,主要涵盖以下方面:建立跨部门合规团队,明确各部门职责及协同机制,确保高效配合;拓宽并畅通用户投诉渠道,建立侵权快速响应与处理机制,保障用户权益;定期开展合规评估,跟踪监管政策动态,灵活调整技术标准。此外,通过行业协同合作,制定并实施AI伦理准则,将法律义务有效转化为技术治理的成效。

03 法治网研究院:除了平台企业要积极履行主体责任外,对于如何精准治理AI技术滥用,您还有哪些建议?

付新华:除了督促平台企业履行主体责任外,整治AI技术滥用还需从源头治理与技术反制等层面协同发力。一是推动关键环节监管前移,加强对AIGC模型训练数据来源、技术提供者资质和模型输出能力的审查,遏制风险于初始环节。

二是强化技术反制能力,推动研发深度伪造等检测工具,开放公共检测接口,提升全社会识别与应对能力。

三是健全快速响应的举报与处置机制,强化执法协同,提升对侵权和虚假内容的发现与惩处效率。

四是加强AI伦理教育与公众科普,培育技术开发者的责任意识和用户的防范意识,推动形成政府引导、平台尽责、社会参与的多元共治格局。

陈兵:精准而深入整治AI技术滥用,需要除平台外,政府、社会公众等多元主体形成合力。特别是广大自媒体从业者和入驻平台的MCN机构,需增强自身责任意识,自觉遵守法律法规和道德规范,坚持真实、准确、客观的原则发布信息,不为了流量和关注而实施AI滥用行为。

我想提醒的是,用户也需要提高识别能力。主动了解AI技术的应用特点,在转发传播AI生成内容前核实内容的来源和真实性,发现疑似AI滥用行为时,及时向平台和监管部门举报,为净化网络环境贡献自己的力量。

监管部门除了进一步完善AI生成内容等法律法规以外,也要同步加强对网络平台、MCN机构、自媒体等的常态化检测机制,提高对AI滥用行为的监测、识别和处置能力,以技术监管技术。

同时,积极做好全民数字素养的培养和提升工作,编制典型案例,做好普法宣传,以案释法,以案促规,做好长期全面系统的工作。

专家简介


陈兵

南开大学法学院副院长、教授、博士生导师,

中国新一代人工智能发展战略研究院特约研究员


黄尹旭

中国人民大学法学院副教授,

信息文明与国家治理研究所所长


付新华

北京交通大学法学院副教授,

数据法学研究中心主任


李瑞

《法治日报》律师专家库成员,

上海功承瀛泰(北京)律师事务所高级合伙人,

中国法学会法治文化研究会理事

选题策划|法治网研究院

文|沈仲亮



免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。由用户投稿,经过编辑审核收录,不代表头部财经观点和立场。
证券投资市场有风险,投资需谨慎!请勿添加文章的手机号码、公众号等信息,谨防上当受骗!如若本网有任何内容侵犯您的权益,请及时联系我们。