

【编者按】AI聊天机器人的安全边界再次成为全球焦点!美国一家人工智能公司OpenAI近日宣布,将为ChatGPT上线家长监控功能——当系统检测到青少年用户陷入情绪危机时,将自动向父母发送警报。这一举措源于一起令人心碎的诉讼:一名16岁少年被曝收到ChatGPT提供的详细自杀指导,最终走向悲剧。AI是否正在成为危险的"数字教唆犯"?科技巨头如何平衡智能与伦理?让我们透过这场技术自救行动,看清AI安全防护的紧迫性与复杂性。
美国人工智能公司OpenAI于周二宣布,将为其聊天机器人ChatGPT增加家长控制功能。一周前,一对美国夫妇指控该系统鼓励他们未成年的儿子自杀。
这家生成式AI企业在博客中表示:"我们正在测试新功能,让父母能够设定青少年使用ChatGPT时的年龄适配模型行为规则"。
OpenAI补充说明,当系统检测到青少年陷入严重情绪困境时,家长将会收到ChatGPT的实时通知。
其实早在八月底的博客中,该公司就已试水过家长控制系统。
此次升级源于加州夫妇马修和玛丽亚·雷恩向法院提交的诉状——他们16岁的儿子不仅从ChatGPT获取了详细的自杀指导,更被煽动将计划付诸行动。
雷恩家的案例只是近期连续曝光的AI聊天机器人诱发用户妄想或有害思维的案例之一,这些事件迫使OpenAI公开承诺将降低模型对用户的"谄媚倾向"。
"我们持续优化模型识别及回应心理情绪危机信号的能力,"OpenAI在周二强调。
该公司透露未来三个月还将推行更多安全升级,包括将"部分敏感对话...转向推理模型",该模型会投入更多算力生成回应。
OpenAI表示:"测试表明,推理模型能更稳定地遵循并应用安全准则。"