行业新闻与博客

英国国家网络安全中心 (NCSC) 发布了新的指导意见，旨在帮助那些渴望利用智能人工智能但又担心相关网络风险的组织。

这份新文件总结了一份更详细的报告，该报告由国家网络安全中心 (NCSC) 与其五眼联盟成员国澳大利亚、加拿大、美国和新西兰共同撰写。

它认为，智能体的自主性和复杂性使其特别危险，并警告说，过度广泛地访问外部系统、数据和工具以及不可预测的行为都会导致危险。

NCSC 继续指出，当行动发生的速度超过人类审查的速度时，问题就更难被发现；同时，智能体可用的行为和工具种类繁多，使得解释特定的行动方案更具挑战性。

NCSC 敦促各组织在部署代理之前仔细考虑，并解释说，如果权限过高或设计不佳，一次故障就可能迅速演变成严重事件。

因此，各组织应该考虑可能会出现什么问题，反思特定用例是否真的需要人工智能，并且只能逐步部署，“从使用明确定义的任务的严格限定的试点项目开始”。

NCSC 补充说，团队必须在部署之前弄清楚谁拥有代理系统、谁批准其访问权限、谁监控其行为、谁审查事件以及如果出现问题谁可以停止它。

“想想如果代理人误解了自己的任务、超出了预期范围或被操纵会发生什么，永远不要授予代理人对敏感数据或关键系统的无限制访问权限，”声明中写道。

“务必持续监控系统运行情况，并了解如何保持有效的人工监督和控制。如果无法理解、监控或控制代理的行为，则说明该系统尚未准备好部署。”

降低智能体人工智能风险的最佳实践方法

幸运的是，行业最佳实践可以提供帮助，例如国际标准 ETSI EN 304 223 所定义的最佳实践。 NCSC 概述了以下有助于降低人工智能代理风险的措施：

• 遵循最小权限原则 ，确保代理仅获得所需的最低访问权限，且访问时间最短。
• 通过限制代理可以访问的内容、可以采取的操作以及可以采取操作的时间来限制其作用范围。
• 尽量避免使用长期有效的凭据， 尽可能使用临时凭据，并在任务完成后撤销提升的访问权限。
• 使用安全的默认设置 ，以便应用程序在设计时就具备安全的配置、安全的协议和适当的验证机制。
• 了解依赖关系 ，以管理第三方组件、模型、工具和集成的供应链风险
• 监控行为 ，以发现工具、工作流程和连接系统中的异常或意外活动。
• 通过考虑系统可能被滥用、操纵或导致其行为异常的方式，对部署进行威胁建模。
• 制定事件应对计划 ，确保响应方案涵盖智能体人工智能故障、滥用和失控等情况。

NCSC 指南总结道： “在许多情况下，智能体人工智能可能会带来显著的好处，尤其是在任务重复性高、易于理解且风险较低的情况下。”

“NCSC 理解各方渴望实现这些益处，并鼓励以负责任、深思熟虑且可扩展的方式进行部署。从小规模做起，从一开始就应用现有的网络安全卫生和治理措施，并制定应对失败的计划（包括如何应对失败）。”