对于AI智能体，既要抓住机遇之“帆”也要把好安全之“锚”

7003383

7005136

7005137

<article><section data-type="rtext">【环球网科技报道 记者 林迪】在当今的智能化时代，人工智能技术的飞速发展正深刻地改变着我们的生活和工作方式。其中，AI 智能体作为新兴的技术形态，正逐渐成为各行业关注的焦点。近日日，记者与Gartner 高级研究总监赵宇深入探讨了 AI 智能体的安全问题，揭示了这一领域面临的机遇与挑战。<img data-alt="" src="//img.huanqiucdn.cn/dp/api/files/imageDir/8b53046a205e3f7a46fa59a2192ee863u1.png?imageView2/2/w/1260" />赵宇指出：“AI 智能体是在大模型的基础上加入了工具以及工作流的调度，同时它可以实现自主规划和决策。”
 <adv-loader __attr__inner="7004636" __attr__style="width: auto;position: relative;float: left;border: 1px solid #ebebeb; padding: 20px;overflow: hidden;margin: 10px 30px 40px 0;"></adv-loader>
 据介绍，这种技术力量不仅具备感知环境、采集信息的能力，还能够通过访问大语言模型获取基础 AI 能力，并与外部工具进行交互，以完成复杂任务。其应用场景广泛，涵盖工业生产、物流、科研、金融等多个领域，为提高效率、优化流程和创新驱动带来巨大潜力。她强调：“传统人工智能的风险依然存在，但是在这个场景下会被放大化。”其中，幻觉问题是其中的典型风险，由于智能体推理复杂性和上下文跨度的增加，其产生的错误解读可能导致严重安全事故，如自动驾驶中错误识别道路标识可能引发车辆事故。对此，她建议：“从安全角度来说，除了常说的输入校验、输出可控性验证之外，我们强烈建议企业用户用对抗训练去增强他们的模型、智能体的鲁棒性来减少幻觉。同时，采用因果推理模型等算法识别输入输出的因果关系，过滤虚假结论。”另外，AI 智能体的自主决策能力虽然提高了效率，但也带来了新的风险。赵宇解释说：“它会有自主决策的能力，它甚至会去做一定的操作，所以自主决策上会有风险。这些风险包括被恶意攻击者利用，以及因智能体自身完备性和能力问题可能导致的决策失误。因此，企业要识别和拦截一些已知的攻击模式，比如说已知的恶意指令。”她还告诉记者，在多智能体交互场景下，智能体之间的通信和协作存在特殊的安全风险。比如，多智能体交互可能导致访问控制风险呈指数级增长，引发资源竞争和冲突，影响业务和系统稳定性。对此，她建议称：“企业可以通过白名单方式或 API 限定，确保智能体的行为在安全范围内。对智能体依赖的开源库进行稳健成分分析扫描，阻断已知漏洞传播。还可以在多智能体协同场景下，采取动态访问控制和审计，分配唯一凭证，采用零信任架构等措施。”当 AI 智能体应用于物理环境时，如工控、自动驾驶、无人机操作等，其安全风险更为突出。赵宇指出：“如果使用在物理环境上，不管是工控、自动驾驶、无人机操作等等，那么它就有可能会造成人员健康、身体安全性，然后或者是财产安全等，这些风险比纯网络层面的风险还要大。 攻击者可能通过对传感器的欺骗或篡改物理层面信号，导致设备失控，造成严重后果。”另外，针对物理环境交互风险，赵宇谈到：“如果说可能传感器遭到欺骗或者是被恶意输入，就需要结合多传感器的数据做一定的数据融合，通过这种多模态交叉验证，来降低单一传感器被欺骗的风险。”尽管 AI 智能体面临诸多安全挑战，但其发展潜力巨大。目前，AI 智能体的应用正在多个领域展开探索。在智能制造领域，车厂尝试利用 AI 智能体进行零件设计和视觉相关工作，工厂中也在探索智能体在调度方面的应用。此外，在客服、文档处理等领域，AI 智能体也展现出了较好的应用前景。最后，她总结道：“在未来发展过程中，各行业需要高度重视 AI 智能体的安全问题，通过技术创新、标准制定、合作交流等多方面努力，构建安全可靠的应用环境，实现 AI 智能体在保障安全的前提下，为各行业带来更高效、更智能、更创新的发展动力，推动人工智能技术与各行业的深度融合。”</section></article>

7003385

7003386

7003387

7003388

7004638

7004639

7004637

7003389