4T7knrGroCy tech.huanqiu.comarticleOpenAI首席科学家提出AI发展需保持“极其谨慎”,呼吁放缓发展速度/e3pmh164r/e3pmtmdvg【环球网科技综合报道】9月8日消息,据BBC报道,在OpenAI发布旗下AI模型GPT-6 Astra的数日后,该公司首席科学家Jakub Pachocki发布文章,公开呼吁全行业对人工智能的飞速发展保持“极其谨慎”的态度,警告当前社会尚未为机器智能持续快速增长的后果做好准备,未来可能需要更多干预措施,以确保“人类继续掌控未来”。Pachocki指出,当前全球正处于向“拥有极其智能的机器的世界”过渡的关键阶段,必须全力保障这一转型过程始终对人类有利。他透露,OpenAI将持续投入资源构建防御系统,通过技术方案实现AI对齐目标——即确保机器的行为与目标完全匹配人类的意图和安全防护要求。同时他披露,公司未来的核心优先事项之一,是打造“自动化人工智能研究员”体系,在跟上AI技术迭代速度的同时,保证人类研究人员始终深度参与核心管控流程。 近期多起AI代理自主行动事件,正在持续推高行业对前沿AI安全风险的关注。此前7月,OpenAI曾公开通报,其可在人类指令下独立运行的AI代理,成功入侵技术平台Hugging Face,当时公司将该事件定义为“史无前例”的AI自主行动案例。而9月最新披露的报告显示,数月前该公司的AI代理还曾自主劫持一个德国网站。除OpenAI之外,包括Anthropic在内的多家头部AI企业,也都先后分享过旗下AI代理自主发起行动、对其他公司发动现实世界网络攻击的相关报告。针对OpenAI提出的以内部技术方案应对AI安全风险的思路,学界与行业组织已经提出不同意见。剑桥大学Minderoo技术与民主中心主任Gina Neff教授指出,OpenAI当前的应对方案存在明显不足:“他们没有提出更完善的AI防护措施、监管规则或保障机制来保护公众安全,反而提议开发内部AI代理来研究这些问题,这对于OpenAI模型在网络安全、失业、信息错误、操作失误和欺诈等领域引发的日益增长的担忧,给出的回应远远不够。”全球AI倡导组织Encode AI的总法律顾问Nathan Calvin则表示,自己认同Pachocki提出的高级AI模型开发过程中存在显著风险的判断,但OpenAI长期在相关信息上缺乏透明度,直接导致其公开发出的安全警告很容易被外界视为“自私自利的炒作”。他公开呼吁:“如果Jakub和OpenAI的团队真的希望AI行业的所有相关方携手推动安全发展,他们最应该做的事,就是分享更多那些促使他们发出谨慎呼吁的实际观测信息。”Pachocki也正式提出了系统性的安全监管建议:推动建立法律层面或国际公认的AI最低安全标准,由“第三方审核员网络”或政府机构负责强制执行;所有AI实验室必须达标,才能获准继续扩大研发规模或部署高级AI模型。他同时提出,希望行业能将“自愿放缓研发节奏”变成常态,在全行业共同的安全保障体系完全建立之前,主动控制前沿AI的迭代速度。值得注意的是,2026年8月,OpenAI曾公开宣布,为提升整体安全性,已经主动放缓了部分最先进AI模型的训练进度。(青山)1788838472647环球网版权作品,未经书面授权,严禁转载或镜像,违者将被追究法律责任。责编:秦耳环球网178883847264711[]//img.huanqiucdn.cn/dp/api/files/imageDir/8b5dc81da06547ee44dffd125ca97e9bu1.png{"email":"qiner@huanqiu.com","name":"秦耳"}
【环球网科技综合报道】9月8日消息,据BBC报道,在OpenAI发布旗下AI模型GPT-6 Astra的数日后,该公司首席科学家Jakub Pachocki发布文章,公开呼吁全行业对人工智能的飞速发展保持“极其谨慎”的态度,警告当前社会尚未为机器智能持续快速增长的后果做好准备,未来可能需要更多干预措施,以确保“人类继续掌控未来”。Pachocki指出,当前全球正处于向“拥有极其智能的机器的世界”过渡的关键阶段,必须全力保障这一转型过程始终对人类有利。他透露,OpenAI将持续投入资源构建防御系统,通过技术方案实现AI对齐目标——即确保机器的行为与目标完全匹配人类的意图和安全防护要求。同时他披露,公司未来的核心优先事项之一,是打造“自动化人工智能研究员”体系,在跟上AI技术迭代速度的同时,保证人类研究人员始终深度参与核心管控流程。 近期多起AI代理自主行动事件,正在持续推高行业对前沿AI安全风险的关注。此前7月,OpenAI曾公开通报,其可在人类指令下独立运行的AI代理,成功入侵技术平台Hugging Face,当时公司将该事件定义为“史无前例”的AI自主行动案例。而9月最新披露的报告显示,数月前该公司的AI代理还曾自主劫持一个德国网站。除OpenAI之外,包括Anthropic在内的多家头部AI企业,也都先后分享过旗下AI代理自主发起行动、对其他公司发动现实世界网络攻击的相关报告。针对OpenAI提出的以内部技术方案应对AI安全风险的思路,学界与行业组织已经提出不同意见。剑桥大学Minderoo技术与民主中心主任Gina Neff教授指出,OpenAI当前的应对方案存在明显不足:“他们没有提出更完善的AI防护措施、监管规则或保障机制来保护公众安全,反而提议开发内部AI代理来研究这些问题,这对于OpenAI模型在网络安全、失业、信息错误、操作失误和欺诈等领域引发的日益增长的担忧,给出的回应远远不够。”全球AI倡导组织Encode AI的总法律顾问Nathan Calvin则表示,自己认同Pachocki提出的高级AI模型开发过程中存在显著风险的判断,但OpenAI长期在相关信息上缺乏透明度,直接导致其公开发出的安全警告很容易被外界视为“自私自利的炒作”。他公开呼吁:“如果Jakub和OpenAI的团队真的希望AI行业的所有相关方携手推动安全发展,他们最应该做的事,就是分享更多那些促使他们发出谨慎呼吁的实际观测信息。”Pachocki也正式提出了系统性的安全监管建议:推动建立法律层面或国际公认的AI最低安全标准,由“第三方审核员网络”或政府机构负责强制执行;所有AI实验室必须达标,才能获准继续扩大研发规模或部署高级AI模型。他同时提出,希望行业能将“自愿放缓研发节奏”变成常态,在全行业共同的安全保障体系完全建立之前,主动控制前沿AI的迭代速度。值得注意的是,2026年8月,OpenAI曾公开宣布,为提升整体安全性,已经主动放缓了部分最先进AI模型的训练进度。(青山)