行業新聞與博客

英國國家網絡安全中心 (NCSC) 發佈了新的指導意見，旨在幫助那些渴望利用智能人工智能但又擔心相關網絡風險的組織。

這份新文件總結了一份更詳細的報告，該報告由國家網絡安全中心 (NCSC) 與其五眼聯盟成員國澳大利亞、加拿大、美國和新西蘭共同撰寫。

它認為，智能體的自主性和複雜性使其特別危險，並警告説，過度廣泛地訪問外部系統、數據和工具以及不可預測的行為都會導致危險。

NCSC 繼續指出，當行動發生的速度超過人類審查的速度時，問題就更難被發現；同時，智能體可用的行為和工具種類繁多，使得解釋特定的行動方案更具挑戰性。

NCSC 敦促各組織在部署代理之前仔細考慮，並解釋説，如果權限過高或設計不佳，一次故障就可能迅速演變成嚴重事件。

因此，各組織應該考慮可能會出現什麼問題，反思特定用例是否真的需要人工智能，並且只能逐步部署，“從使用明確定義的任務的嚴格限定的試點項目開始”。

NCSC 補充説，團隊必須在部署之前弄清楚誰擁有代理系統、誰批准其訪問權限、誰監控其行為、誰審查事件以及如果出現問題誰可以停止它。

“想想如果代理人誤解了自己的任務、超出了預期範圍或被操縱會發生什麼，永遠不要授予代理人對敏感數據或關鍵系統的無限制訪問權限，”聲明中寫道。

“務必持續監控系統運行情況，並瞭解如何保持有效的人工監督和控制。如果無法理解、監控或控制代理的行為，則説明該系統尚未準備好部署。”

降低智能體人工智能風險的最佳實踐方法

幸運的是，行業最佳實踐可以提供幫助，例如國際標準 ETSI EN 304 223 所定義的最佳實踐。 NCSC 概述了以下有助於降低人工智能代理風險的措施：

• 遵循最小權限原則 ，確保代理僅獲得所需的最低訪問權限，且訪問時間最短。
• 通過限制代理可以訪問的內容、可以採取的操作以及可以採取操作的時間來限制其作用範圍。
• 儘量避免使用長期有效的憑據， 儘可能使用臨時憑據，並在任務完成後撤銷提升的訪問權限。
• 使用安全的默認設置 ，以便應用程序在設計時就具備安全的配置、安全的協議和適當的驗證機制。
• 瞭解依賴關係 ，以管理第三方組件、模型、工具和集成的供應鏈風險
• 監控行為 ，以發現工具、工作流程和連接系統中的異常或意外活動。
• 通過考慮系統可能被濫用、操縱或導致其行為異常的方式，對部署進行威脅建模。
• 制定事件應對計劃 ，確保響應方案涵蓋智能體人工智能故障、濫用和失控等情況。

NCSC 指南總結道： “在許多情況下，智能體人工智能可能會帶來顯著的好處，尤其是在任務重複性高、易於理解且風險較低的情況下。”

“NCSC 理解各方渴望實現這些益處，並鼓勵以負責任、深思熟慮且可擴展的方式進行部署。從小規模做起，從一開始就應用現有的網絡安全衞生和治理措施，並制定應對失敗的計劃（包括如何應對失敗）。”