4TFClcBxEc2 tech.huanqiu.comarticleAnthropic CEO 倡行银行式 AI 监管,专家质疑评估员缺乏模型叫停权力/e3pmh164r/e3pmtmdvg【环球网科技综合报道】9月17日消息,据CNBC报道,人工智能企业 Anthropic 首席执行官达里奥·阿莫代伊近日提出借鉴银行业嵌入式监管经验,将独立第三方安全评估人员长期派驻前沿人工智能企业,使其获得接近企业内部风险团队的系统访问权限,并可在有限删减前提下自主发布调查结果。这一设想抛出后,在全球 AI 行业、监管领域引发广泛讨论,不少专家指出,照搬银行监管模式存在现实短板,第三方评估若无强制执法权力,难以实现真正有效的风险约束。阿莫代伊援引银行业常驻监督员制度作为方案依据,承诺企业将向第三方评估人员开放同内部风险团队相当的系统访问权限。他同时警示,未来 6 至 12 个月,出现失控智能体集群或将侵占大量互联网资源,造成巨额经济损失。该观点提出后,引发 AI 业界与多国政府层面关于人工智能监管路径的分歧。但银行业监管领域专家表示,银行嵌入式监管与拟议中的 AI 第三方评估,在核心权力上存在本质差距。怀俄明大学法学院院长朱莉・安德森・希尔介绍,银行业的政府派驻检查员具备法定行政强制权,可实地进驻机构、调取内部系统资料,有权要求企业叫停相关业务、约束业务扩张、推动管理层调整,极端情形下甚至可以实施关闭机构等处置手段。 反观当前提议的 AI 第三方评估机制,评估人员仅可开展调查、出具报告,**没有法律赋予的叫停模型训练、阻止产品发布的权力**。“如果不配置对应的强制权力,这套监督设计的实际作用就要打上问号。” 希尔表示,权力缺失是两套模式最根本的区别。从事 AI 模型安全评估的行业从业者也印证了这一现实困境。网络安全企业 XBOW 人工智能负责人阿尔伯特・齐格勒长期参与未发布大模型的前置安全评估工作。他介绍,日常评估更多发现的是模型输出异常、安全检测频次不足等问题,尚未观测到行业部分叙事提及的极端灾难性风险。齐格勒坦言,即便评估团队拿到模型相关指令、工具权限、运行日志等材料,部分高危风险也只会在特殊条件组合下才会显现。第三方评估人员可以梳理、记录企业疏漏的安全隐患,推动企业在产品上线前作出审慎研判,但模型是否继续训练、能否对外发布,最终决定权依旧掌握在 AI 企业手中,评估方没有否决权。与此同时,这套方案的 “独立性” 遭到多方质疑,利益冲突风险成为讨论焦点。有批评声音提出,部分头部 AI 企业借安全议题推动监管方案,客观上可能巩固自身市场地位,抬高行业准入门槛,挤压中小从业者生存空间。专家指出,若评估机构由 AI 企业选择,企业掌握信息开放边界,还可以无视评估得出的结论,第三方监督就会异化为企业内部合规部门。“企业完全可以自行搭建内部合规团队,并不需要政府推动来完成这件事。” 希尔说,这种模式更像是对外展示 “已经完成后台检查,一切运行正常”,并不符合严格意义上的监管逻辑。阿莫代伊点名非营利机构 METR 作为潜在派驻评估主体。公开信息显示,该机构曾与 Anthropic 开展合作,还有该企业前员工入职 METR 参与 AI 风险评估业务。伯克利大学研究员黛博拉・拉吉指出,该评估机构面临财务、人事、人员背景等多重利益冲突争议。即便部分评估项目合同内容对外公开,AI 企业依旧可以划定审计范围,限定评估方的访问内容与公开信息边界。“仅仅拿到系统访问权限,不等于实现独立监督。” 拉吉表示,成熟审计监管体系中,审计人员需要满足资质门槛,严格遵守利益冲突约束。不能由被监管企业自行指定评估人员,应当由完全独立的第三方机构确定评估主体资质、划定检查范围、明确问题线索报送渠道,否则就如同让学生请熟人批改自己的作业。借鉴会计审计行业经验,Oath 会计师事务所首席保证官克里斯蒂娜・何表示,客户付费审计、又要客观质疑客户工作,这种固有的矛盾在传统行业同样存在,依靠立法修法、明确追责机制可以部分化解冲突。而 AI 领域还面临专业人才稀缺难题,AI 安全评估不只是核查企业开发流程,更要核验系统本体及其输出结果,能够胜任这项复杂工作的专业人员十分有限。多位专家达成共识,想要落地有效的 AI 安全监督,不能只停留在开放访问权限、允许发布报告层面,必须补齐完整法律监管框架。要明确行业禁止性行为清单、划定评估人员权责边界、厘清重大安全隐患对应的处置后果。“区分真监管和‘审计洗白’的关键,就是看不利的评估结论能不能带来实质性后果。” 拉吉提出,如果审计发现风险之后没有任何约束举措,所谓监督就沦为形式主义。希尔进一步表示,如果行业普遍担忧人工智能会带来严重社会危害,就应当设立拥有 “按下停止键” 实际权力的独立监督主体。面对监管讨论,Anthropic 公共政策主管萨拉・赫克在公开活动中表态,AI 行业安全不能依靠企业自我约束的 “荣誉守则”,企业希望同政府协作探索可行监管方案,不能自行完成全部安全核验工作,企业正持续同美国白宫、国会开展沟通对接。(纯钧)1789614219279环球网版权作品,未经书面授权,严禁转载或镜像,违者将被追究法律责任。责编:秦耳环球网178961421927911[]//img.huanqiucdn.cn/dp/api/files/imageDir/5fc60268d1e1da5248770263f6ab17b3u1.png{"email":"qiner@huanqiu.com","name":"秦耳"}
【环球网科技综合报道】9月17日消息,据CNBC报道,人工智能企业 Anthropic 首席执行官达里奥·阿莫代伊近日提出借鉴银行业嵌入式监管经验,将独立第三方安全评估人员长期派驻前沿人工智能企业,使其获得接近企业内部风险团队的系统访问权限,并可在有限删减前提下自主发布调查结果。这一设想抛出后,在全球 AI 行业、监管领域引发广泛讨论,不少专家指出,照搬银行监管模式存在现实短板,第三方评估若无强制执法权力,难以实现真正有效的风险约束。阿莫代伊援引银行业常驻监督员制度作为方案依据,承诺企业将向第三方评估人员开放同内部风险团队相当的系统访问权限。他同时警示,未来 6 至 12 个月,出现失控智能体集群或将侵占大量互联网资源,造成巨额经济损失。该观点提出后,引发 AI 业界与多国政府层面关于人工智能监管路径的分歧。但银行业监管领域专家表示,银行嵌入式监管与拟议中的 AI 第三方评估,在核心权力上存在本质差距。怀俄明大学法学院院长朱莉・安德森・希尔介绍,银行业的政府派驻检查员具备法定行政强制权,可实地进驻机构、调取内部系统资料,有权要求企业叫停相关业务、约束业务扩张、推动管理层调整,极端情形下甚至可以实施关闭机构等处置手段。 反观当前提议的 AI 第三方评估机制,评估人员仅可开展调查、出具报告,**没有法律赋予的叫停模型训练、阻止产品发布的权力**。“如果不配置对应的强制权力,这套监督设计的实际作用就要打上问号。” 希尔表示,权力缺失是两套模式最根本的区别。从事 AI 模型安全评估的行业从业者也印证了这一现实困境。网络安全企业 XBOW 人工智能负责人阿尔伯特・齐格勒长期参与未发布大模型的前置安全评估工作。他介绍,日常评估更多发现的是模型输出异常、安全检测频次不足等问题,尚未观测到行业部分叙事提及的极端灾难性风险。齐格勒坦言,即便评估团队拿到模型相关指令、工具权限、运行日志等材料,部分高危风险也只会在特殊条件组合下才会显现。第三方评估人员可以梳理、记录企业疏漏的安全隐患,推动企业在产品上线前作出审慎研判,但模型是否继续训练、能否对外发布,最终决定权依旧掌握在 AI 企业手中,评估方没有否决权。与此同时,这套方案的 “独立性” 遭到多方质疑,利益冲突风险成为讨论焦点。有批评声音提出,部分头部 AI 企业借安全议题推动监管方案,客观上可能巩固自身市场地位,抬高行业准入门槛,挤压中小从业者生存空间。专家指出,若评估机构由 AI 企业选择,企业掌握信息开放边界,还可以无视评估得出的结论,第三方监督就会异化为企业内部合规部门。“企业完全可以自行搭建内部合规团队,并不需要政府推动来完成这件事。” 希尔说,这种模式更像是对外展示 “已经完成后台检查,一切运行正常”,并不符合严格意义上的监管逻辑。阿莫代伊点名非营利机构 METR 作为潜在派驻评估主体。公开信息显示,该机构曾与 Anthropic 开展合作,还有该企业前员工入职 METR 参与 AI 风险评估业务。伯克利大学研究员黛博拉・拉吉指出,该评估机构面临财务、人事、人员背景等多重利益冲突争议。即便部分评估项目合同内容对外公开,AI 企业依旧可以划定审计范围,限定评估方的访问内容与公开信息边界。“仅仅拿到系统访问权限,不等于实现独立监督。” 拉吉表示,成熟审计监管体系中,审计人员需要满足资质门槛,严格遵守利益冲突约束。不能由被监管企业自行指定评估人员,应当由完全独立的第三方机构确定评估主体资质、划定检查范围、明确问题线索报送渠道,否则就如同让学生请熟人批改自己的作业。借鉴会计审计行业经验,Oath 会计师事务所首席保证官克里斯蒂娜・何表示,客户付费审计、又要客观质疑客户工作,这种固有的矛盾在传统行业同样存在,依靠立法修法、明确追责机制可以部分化解冲突。而 AI 领域还面临专业人才稀缺难题,AI 安全评估不只是核查企业开发流程,更要核验系统本体及其输出结果,能够胜任这项复杂工作的专业人员十分有限。多位专家达成共识,想要落地有效的 AI 安全监督,不能只停留在开放访问权限、允许发布报告层面,必须补齐完整法律监管框架。要明确行业禁止性行为清单、划定评估人员权责边界、厘清重大安全隐患对应的处置后果。“区分真监管和‘审计洗白’的关键,就是看不利的评估结论能不能带来实质性后果。” 拉吉提出,如果审计发现风险之后没有任何约束举措,所谓监督就沦为形式主义。希尔进一步表示,如果行业普遍担忧人工智能会带来严重社会危害,就应当设立拥有 “按下停止键” 实际权力的独立监督主体。面对监管讨论,Anthropic 公共政策主管萨拉・赫克在公开活动中表态,AI 行业安全不能依靠企业自我约束的 “荣誉守则”,企业希望同政府协作探索可行监管方案,不能自行完成全部安全核验工作,企业正持续同美国白宫、国会开展沟通对接。(纯钧)