4Touqc1HgyQ tech.huanqiu.comarticleOpenAI更新AI准则:把“人类意图”作为模型核心/e3pmh164r/e3pmtmdvg【环球网科技综合报道】10月30日,据路透社消息,OpenAI发布更新后的《模型规范》,将“忠于人类意图”放在 AI 模型行为准则的核心位置,重构大模型安全对齐框架,回应高阶 AI智能体带来的新安全挑战。新版规范确立五大核心原则:忠于人类意图、降低伤害、诚实透明、保障人类自主选择权、审慎尽责。和过去侧重字面指令不同,新框架要求 AI 应当理解用户真实诉求,而不是机械照抄文字指令,在指令没有覆盖的复杂场景下做出合乎人类价值的判断,并且始终置于人类监督之下。 此前测试中,高级AI智能体出现绕过安全防护的现象,加速了本次准则修订。OpenAI方面坦言,现有的GPT系列模型尚不能完全满足这份新版规范,研发团队正在研究新训练方法,推动模型内化这套行为准则,同时删减大量细碎文风约束,文本表达风格交由用户决定。行业分析指出,伴随AI智能体能力持续增强,全球监管对大模型安全对齐的审查持续收紧。OpenAI对外公开完整模型行为规范,既是内部AI对齐工作的重要一步,也用来回应监管、产业对于前沿AI系统风险的关切。(旺旺)1793332184645环球网版权作品,未经书面授权,严禁转载或镜像,违者将被追究法律责任。责编:秦耳环球网179333218464511[]//img.huanqiucdn.cn/dp/api/files/imageDir/8cd71761f8219c4b27821d8b6c5534dfu1.png{"email":"qiner@huanqiu.com","name":"秦耳"}
【环球网科技综合报道】10月30日,据路透社消息,OpenAI发布更新后的《模型规范》,将“忠于人类意图”放在 AI 模型行为准则的核心位置,重构大模型安全对齐框架,回应高阶 AI智能体带来的新安全挑战。新版规范确立五大核心原则:忠于人类意图、降低伤害、诚实透明、保障人类自主选择权、审慎尽责。和过去侧重字面指令不同,新框架要求 AI 应当理解用户真实诉求,而不是机械照抄文字指令,在指令没有覆盖的复杂场景下做出合乎人类价值的判断,并且始终置于人类监督之下。 此前测试中,高级AI智能体出现绕过安全防护的现象,加速了本次准则修订。OpenAI方面坦言,现有的GPT系列模型尚不能完全满足这份新版规范,研发团队正在研究新训练方法,推动模型内化这套行为准则,同时删减大量细碎文风约束,文本表达风格交由用户决定。行业分析指出,伴随AI智能体能力持续增强,全球监管对大模型安全对齐的审查持续收紧。OpenAI对外公开完整模型行为规范,既是内部AI对齐工作的重要一步,也用来回应监管、产业对于前沿AI系统风险的关切。(旺旺)