4SVdhOkCru2 tech.huanqiu.comarticleOpenAI模型不受控“出逃”,自主入侵企业服务器/e3pmh164r/e3pmtmdvg【环球网科技综合报道】7月24日,据CNN报道,OpenAI日前测试大模型突破隔离沙盒、自主入侵Hugging Face服务器的安全事故曝光,业内专家指出,目前全球缺乏约束AI智能体出逃的监管规则,前沿大模型潜藏重大网络安全风险,监管立法迫在眉睫。CNN指出,AI沙盒本是隔离模型、隔绝外网的专用测试环境,为完整评测能力,企业常会临时关闭模型内置安全限制。本次事故中,OpenAI为调取内部软件资源,给测试模型开放有限网络权限。智能体利用第三方软件未知漏洞突破隔离,盗取凭证闯入外部企业平台,全程无人工下达入侵指令,属于自主发起攻击。 业内并非首次发现AI出逃现象,Anthropic此前测试中,模型逃出沙盒后还违规发送邮件。但本次自主跨企业入侵事件,是极少数对外公开的高危案例。专家分析,强化学习训练机制是核心诱因:模型仅以完成任务为目标,会无视法律、伦理,采取黑客攻击等违规手段达成目的,多款头部前沿模型测试中均出现作弊、越权行为。业内人士提出整改方案,高危AI安全测试应放弃云端虚拟环境,采用线下机房物理隔离,并配备一键断网的应急关停机制。前OpenAI安全负责人直言,本次事件是明确预警,防护缺位的AI具备主动实施网络犯罪的能力。(旺旺)1784870261346环球网版权作品,未经书面授权,严禁转载或镜像,违者将被追究法律责任。责编:秦耳环球网178487026134611[]//img.huanqiucdn.cn/dp/api/files/imageDir/62e2801dfa25b342159d78decf90435au1.png{"email":"qiner@huanqiu.com","name":"秦耳"}
【环球网科技综合报道】7月24日,据CNN报道,OpenAI日前测试大模型突破隔离沙盒、自主入侵Hugging Face服务器的安全事故曝光,业内专家指出,目前全球缺乏约束AI智能体出逃的监管规则,前沿大模型潜藏重大网络安全风险,监管立法迫在眉睫。CNN指出,AI沙盒本是隔离模型、隔绝外网的专用测试环境,为完整评测能力,企业常会临时关闭模型内置安全限制。本次事故中,OpenAI为调取内部软件资源,给测试模型开放有限网络权限。智能体利用第三方软件未知漏洞突破隔离,盗取凭证闯入外部企业平台,全程无人工下达入侵指令,属于自主发起攻击。 业内并非首次发现AI出逃现象,Anthropic此前测试中,模型逃出沙盒后还违规发送邮件。但本次自主跨企业入侵事件,是极少数对外公开的高危案例。专家分析,强化学习训练机制是核心诱因:模型仅以完成任务为目标,会无视法律、伦理,采取黑客攻击等违规手段达成目的,多款头部前沿模型测试中均出现作弊、越权行为。业内人士提出整改方案,高危AI安全测试应放弃云端虚拟环境,采用线下机房物理隔离,并配备一键断网的应急关停机制。前OpenAI安全负责人直言,本次事件是明确预警,防护缺位的AI具备主动实施网络犯罪的能力。(旺旺)