AI 自動化半夜發錯資料，誰能按下停止鍵？企業應該先演練這 6 種失效情境

教學方法專題｜案例、時程與表單為編輯設計示例，非客戶實績或已完成的產品實測。

核心答案：週五晚上，AI 工作流程將錯誤的客戶通知送入寄送佇列。營運主管看得到異常，卻不知道誰能停；IT 能關掉服務，卻不確定會不會影響付款流程。真正危險的不是 AI 答錯一次，而是企業沒有事先界定停機權、影響範圍與復原順序。

專題編輯：Iris Hsieh｜營運、IT、稽核主管

圖說：天地人原創編輯流程圖，為教學示意，非真實企業現場或產品操作畫面。

停止權不是開會後才決定的事情

正式運作的 AI 系統，至少應有三個角色：當值人員具備立即通報與觸發已授權暫停程序的權限；系統維運人員能停止特定佇列、撤回憑證或停用連接器；業務流程擁有人決定如何處理受影響工作與客戶。高風險系統可另設資安事件指揮與法務通報機制。必須能先停止擴大傷害，再調查原因，不能要求現場人員在明顯異常時等到全部主管同意才啟動預先核准的停止程序。

六個失效情境，至少每季挑幾個測一次

測試必須使用沙盒與合成資料，不得為了演練在正式環境發送假客戶通知、誤操作正式設備或產生真實金流風險。若需演練正式系統，先走已核准的變更與風險程序。

一次完整演練的五個階段

偵測。 人員或監控系統發現異常，記錄事件時間、症狀、影響範圍與最近一次正常狀態。止血。 依預先授權停止受影響佇列或工具權限，確認新事件不再擴大。清點。 比對日誌及原系統，找出已執行、未執行、狀態不明的交易。修復。 由 IT 修正設定、資料或程式並在隔離環境回歸測試。復原。 由業務流程擁有人與技術／風險角色共同核准逐步恢復，保留事件與決策紀錄。

不得直接把「API 回傳逾時」當作「交易沒有發生」而重送。需要先向原系統核對實際狀態，再決定補償或重試。

提供給主管的停止與復原決策卡

事件識別碼：
受影響流程與資料：
嚴重程度與判斷依據：
可以立即暫停的人員：
停止動作與回復方式：
已完成／未完成／未知交易數：
是否涉及個資、客戶承諾或法律通報：
復原前必須通過的測試：
核准復原角色與時間：

演練計時應測量「從發現到完成有效止血的時間」與「交易對帳正確性」，但目標值應由企業風險等級與現有服務水準訂定，不能把任意幾分鐘寫成通用標準。

什麼情況不能恢復？

仍有交易狀態不明、憑證遭濫用未撤銷、資料外洩風險未控、無法確定新程式已停止錯誤，任一項成立就維持暫停。OWASP 的 Agent 安全建議主張最小權限、高風險人工覆核、執行限制與結構化監控；NIST 也將事件回應、復原與變更管理納入部署後的風險治理。這些原則最有價值的地方，是讓企業在事故當下不必從零開始決定誰能做什麼。

一場不能跳過的桌上演練

演練主持人先交給當值主管一張虛構通知：寄送服務過去五分鐘產生大量重複事件。主管需要先判斷是否符合預先定義的停止條件，通報 IT 停止該佇列並記錄時間；IT 從隔離日誌確認哪些事件已處理、哪些仍等待，並檢查是否有重試；營運再判斷哪些客戶溝通需要人工補救。全程不發送任何真正的郵件。

接著由主持人追加一個困難情境：監控顯示「逾時」，但是正式發送服務可能已處理其中一部分。若學員直接點擊重跑，就是重大缺失；正確反應是先核對來源服務的交易狀態，對狀態未知的事件暫停重試，保留事件鍵與稽核紀錄。

演練結束不能只寫「大家都了解」

記錄誰在什麼時間發現問題、誰有停止權、從哪個介面或程序停止、對帳是否可證明沒有重複交易、復原核准是否完整，以及哪個環節沒有人接手。若只依賴某位工程師個人知道如何關服務，代表流程仍存在單點故障。

每一次改動 Agent 工具權限、模型、檢索資料、通知管線或執行憑證後，都應評估是否需要重測；例行演練的間隔則由業務風險決定。真正成熟的治理不是永不失效，而是在失效時能清楚停止、追查、補救與恢復。

圖說：依本文工作方法繪製的原創示意流程；並非系統實測畫面。

讀者可立即使用的工作資產

範本：incident_stop_recovery.csv 教學工作包（ZIP）。此檔案包含教學用的示例資料，不是實際企業統計或已完成測試的證據。

資料來源與適用邊界

• NIST：AI RMF Core。
• OWASP：AI Agent Security Cheat Sheet。
• OWASP：LLM06:2025 Excessive Agency。

本篇以官方文件與通用流程治理原則為基礎，並提出原創工作方法；不代表對任何企業租戶、ERP 版本或 AI 產品完成實機測試。價格、方案、法規與功能會變動，採購或正式部署前應與供應商、IT、資安及資料責任人查證。教學數據與案例均為模擬。

讀者下一步： 將範本帶回企業，先由實際流程擁有人確認現況與限制，再決定是否需要企業內訓或 AI 導入試點。