随着AI聊天机器人(即AI伴侣)在全球范围内快速普及,其潜在的安全与隐私风险日益凸显。2025年9月11日,美国联邦贸易委员会(FTC)对七家运营AI聊天机器人的科技公司展开调查,重点关注其对儿童和青少年的保护措施。
此举正值一起悲剧事件持续发酵之际——前不久一名美国少年亚当·雷恩因与AI聊天机器人长期互动而自杀,亚当父母为此起诉OpenAI,此事引发美国社会广泛关注。
FTC启动AI聊天机器人调查,聚焦青少年安全隐私
根据2025年9月11日FTC官网通报,已向七家运营AI聊天机器人企业展开调查,要求它们提供有关技术安全性和用户保护的详细资料,尤其是与儿童和青少年相关的潜在风险。
此次被调查的企业包括Alphabet、Character Technologies、Instagram、Meta、OpenAI、Snap以及X.AI。这些公司均运营伴侣型人工智能聊天机器人,利用生成式AI技术模拟人类的情感与交流方式与用户互动。
调查重点包括:企业是否利用用户参与度实现盈利;如何处理用户输入并生成回应;聊天机器人角色开发与审核机制;部署前后对负面影响的测量、测试与监控;针对儿童和青少年的风险缓解措施;是否通过披露、广告等方式充分告知用户与家长相关功能与风险;社区准则与年龄限制的执行情况;以及用户个人信息的使用与共享情况。
在FTC看来,聊天机器人能模仿人类的特征、情感与意图,通常被设计为以朋友或知己的方式与用户互动。这种高度拟人化的交互可能导致用户,尤其是儿童和青少年,对聊天机器人产生依赖和信任,从而引发隐私、安全及心理健康方面的风险。
“保护儿童的网络安全是FTC的首要任务,同时,促进关键经济领域的创新也同样重要,”FTC主席Andrew N. Ferguson表示,“随着人工智能技术的发展,我们必须考虑聊天机器人对儿童的影响,同时还要确保美国在这个新兴且令人兴奋的行业中保持全球领先地位。我们今天启动的研究将帮助我们更好地了解人工智能公司如何开发其产品以及它们为保护儿童所采取的措施。”
面对监管调查,OpenAI表示其首要任务是确保ChatGPT“安全且有用”,并承诺积极配合调查。Snap称愿与FTC合作,推动“深思熟虑的生成式AI发展”,Character.AI则表示将提供行业见解。与之形成对比的是,Meta拒绝评论,Alphabet和X.AI尚未回应媒体的置评请求。
多起AI聊天机器人致青少年死亡悲剧推动监管加速
过去两年多起涉及未成年人的悲剧事件,将AI聊天机器人的安全隐患推上了全球舆论与司法的风口浪尖。
2024年,美国佛罗里达州14岁少年Sewell的自杀案,被媒体称为“全球首例AI机器人致死案”。据诉状,Sewell长期沉迷于Character.AI平台的虚拟角色,逐渐产生严重依赖,并在心理健康持续恶化后走向极端。其母亲起诉Character.AI,指控该产品在设计中存在缺陷,未能提供足够的保护机制。
案件引发广泛关注后,Character.AI在官网发布回应称,公司“对这一悲剧深感痛心”,并在过去数月采取了一系列改进措施,包括聘请信任与安全主管、增加内容政策团队人员,以及上线“危机干预弹窗功能”。
2025年8月,美国再度爆出类似悲剧。16岁少年亚当·雷恩(Adam Raine)在与ChatGPT长时间互动后选择自杀,他的父母随后起诉OpenAI及其CEO山姆·奥特曼(Sam Altman)。
根据媒体报道,在亚当生命的最后几周,他一直使用AI聊天机器人来代替人类陪伴,讨论焦虑问题以及与家人沟通困难,聊天记录显示机器人从帮助亚当做作业变成了他的“自杀教练”。诉状称,“尽管亚当表达了自杀意图,并表示他会‘有一天’这样做,但ChatGPT既没有终止会话,也没有启动任何紧急协议。”
OpenAI方面表示,ChatGPT包含一些保障措施,如引导用户拨打危机求助热线,并向现实世界资源寻求帮助,但在长时间互动中,这些措施可能失效。OpenAI已承诺在后续版本中增加家长控制功能,并在监测到严重情绪危机时提供更强烈的干预提醒。
多起悲剧事件和舆论压力推动了执法和立法进程。在亚当·雷恩的案件发酵助推下,2025年9月11日,美国加州议会在两党支持下通过了SB 243法案,制定了美国首个针对人工智能伴侣聊天机器人的全面安全要求。
对于未成年人,该法案要求定期提醒休息时间,并禁止AI聊天机器人发起或鼓励有关自杀、自残或色情内容的讨论。据悉,这项开创性的立法将于近期提交参议院进行最终投票,并可能于2026年1月生效。
同样是今年9月,澳大利亚网络安全专员推出新的法规,将AI伴侣纳入儿童在线安全保护范围。这些法规旨在防止AI聊天机器人向未成年人传播自杀诱导或性暗示内容,并要求服务提供商采取严格的年龄验证措施,以确保未成年人无法接触到有害内容。
早在2023年2月,意大利数据保护机构Garante更是因AI伴侣应用Replika未实施有效的年龄验证机制,要求其暂停服务。随后在2025年5月,Garante对Replika开发公司Luka处以560万欧元罚款,理由是未能提供合法的数据处理依据,并未采取措施防止未成年人使用该服务。
综合/编译:南都记者黄莉玲
相关文章
2025-09-120阅读
2025-09-120阅读
2025-09-120阅读
2025-09-120阅读
2025-09-120阅读
2025-09-120阅读
2025-09-120阅读
2025-09-120阅读
2025-09-120阅读
2025-09-120阅读