AI 工作實務 · 方法解析
AI Agent 說任務完成,主管就能相信嗎?如何要求它交出可查核的工作證據?
主管要驗收 Agent,先請下一位接手的人定義可放行的結果,再由目的端逐筆回讀。以 24 張模擬訂單看懂呼叫成功率和可排貨率的差距,帶走驗收單、雙向對帳方法與抽查設計。

主管要驗收 Agent,先請下一位接手的人定義可放行的結果,再由目的端逐筆回讀。以 24 張模擬訂單看懂呼叫成功率和可排貨率的差距,帶走驗收單、雙向對帳方法與抽查設計。
下午四點五十分,業務助理把最後一批訂單交給 AI Agent。十分鐘後,群組跳出一行:「今天的客戶訂單已全部處理完成。」倉管看到訊息,準備列印隔天的揀貨單。這時主管只要多問一句,就會發現三個人在談三件事。助理指的是信箱裡已沒有未讀郵件,Agent 指的是工具已把資料送出去,倉管需要的卻是系統裡確實有可以出貨的有效訂單。即使每一句都出於善意,貨仍然可能少出一車。
要讓主管敢把事情交出去,必須先約定哪一件可觀察的事發生,大家才可以開始下一步。交付前把這項約定寫成一句話,交付後由有權查看結果的人,用另一個入口重查。如果團隊能把「對誰、哪一件、完成到哪裡、根據什麼」說清楚,主管便能專心處理例外,不必陪著機器把每一個畫面再按一遍。
先問下一位同事憑什麼開工
回到倉管的座位。他不需要知道模型思考了多久,也不在乎一封郵件讓系統呼叫了幾次工具。他需要知道訂單屬於哪個客戶、哪個收貨據點、有哪些品項、數量與單位是否一致,以及訂單是否已解除待審狀態。任何一個條件落空,都足以讓揀貨單失去用途。請他示範一次平常怎麼核對,人會自然指出哪些證據稱得上數,哪些對話只是幫忙找方向。
可以把原來的交辦句「請處理客戶來單」改成「把今日截止前收到、尚未撤回且資料齊全的訂單登錄到正式系統。倉管依客戶訂單號與版本查得到唯一一張可排貨紀錄,品項、單位和數量與核定版本相符。其餘列入待處理,標明接手人」。這段話一旦寫下來,完成數便有分母,待處理也有去處。至於要用哪一種模型、先讀附件還是先找客戶,都能留給團隊選擇。
同樣叫作回覆,起草回覆、把核准稿送進寄件服務、對方郵件系統接受、客戶回覆同意,各有不同終點。公司若只授權擬稿,完成物就是可開啟的草稿與對應的原信。擅自寄出會讓本來合格的成果變成事故。如果客戶回覆同意才可備料,寄件成功也只足以把案件移到「等待客戶確認」。把下一步所需條件寫進狀態名稱,比一律寫成綠色的「完成」更接近現場。
Anthropic 在 Agent 評估方法中,區分操作軌跡與環境的最終狀態。前者讓人檢查做過哪些事,後者用來判斷要求的結果是否發生。這個區分放進辦公室,就是把「我已經按了送出」和「下游已取得需要的東西」拆開檢查。它並未替任何一間公司的流程定義終點,該決定仍由對交付結果負責的人做。〔1〕
一張收據能證明到哪裡
以新增訂單為例,畫面顯示「已送出」,可能只代表前台接受表單。後端產生批次編號,代表系統認得這批工作。目的端回傳正式單號,能提供進一步查詢的依據。使用唯讀權限按該單號查回核定狀態與明細,才有材料核對當初的要求。若業務承諾包含一個特定交期,還要把回讀結果的交期與經批准的日期相比。每多一層驗證,都應能回答一個真的會改變決定的問題。
截圖是否值得留,取決於你要證明的那句話。若任務是檢查客戶看到的版面,從授權測試帳號擷取該版本的畫面,附頁面、時間與視窗條件,就是直接證據。若同一張圖拿來證明一張訂單至少沒有重複,單筆畫面就太窄了。這時要能用約定範圍搜尋相同的客戶單號、修訂號與據點,列出命中筆數。查得到一張與只存在一張,是兩個分開的判斷。
看見編號也別急著放行。有的編號在送件時就產生,有的在核准後才編列。主管可以請系統管理者用三張測試單示範:一張只有草稿,一張退件,一張可出貨。看三者在查詢畫面有何差別,再決定回條要帶哪個欄位。假如草稿和有效訂單都有長相相近的編號,只拿格式是否正確當檢查,一開始就把兩者混在一起了。
在另一端,有時業務只需要知道文件已進入公司的收件匣,便能完成當日收件責任。此時強迫同仁追到對方實際採用,等於把他無法控制的決定算進績效。可把交付拆成兩段,收件有一個查核位置,審核或採用有自己的期限與責任人。只要兩段之間的案件能被找回,這種分段承諾比讓所有工作都卡在同一個「未完成」更容易管理。
用一批 24 張訂單算清楚完成率
以下是假設演練。客服在下午三點凍結一張清單,範圍是某客戶當日一個據點的有效採購單,共 24 張,各有客戶單號與修訂號。Agent 讀完郵件後送出 26 次建立請求,其中一張因回應逾時重送,另一張在交班時被再次送出。工作摘要顯示收到 25 次成功回應。若直接算 25 除以 26,約為 96.2%,得到的是這次呼叫中成功回應的比例。拿去回答倉管「有幾張可以排貨」,分子和分母都用錯了。
以原清單逐張查正式系統,得到互斥的四組結果。20 張各有一筆可排貨的訂單,且每個關鍵欄位相符。2 張只有草稿,1 張查不到,另 1 張查到兩筆都可排貨的訂單。於是倉管現在可採用的有 20 張,占原始 24 張的 83.3%。剩下 4 張都有明確理由等待處理。重複的那張算作一件受影響的原始工作,另加記一筆多餘的目的端訂單,才不會把異常件數與需處理的紀錄筆數弄混。
這兩個數字可以同時正確。假設 26 次請求中,有 22 次成功回應對應到 20 筆正確單據與 2 筆草稿,另 1 次成功回應對應到重複單的第一筆、1 次成功回應對應第二筆。還有 1 次成功回應由收件服務提供,後端始終沒有轉成可查的單據。最後 1 次回應逾時。共 25 次成功回應和 1 次逾時。每一次發生的細節要回到各自紀錄還原,僅從總數無法推知是哪一張單需要補。案例的用意正是在此,兩條曲線再接近,也取代不了逐筆對帳。
假設倉管再查一次,兩張草稿獲准,查不到的那張由客服確認原始需求後補建成功,重複的一張仍在檢查是否已經預留庫存。可用件數便升為 23,完成率約為 95.8%。這次改善來自處理了哪幾件一清二楚,但最後一件仍可能牽涉兩筆庫存預留。如果主管只獎勵完成率,經手人就有動機忽略這個小尾巴。並排呈現「仍可能重複出貨的原始單數」才能讓百分比回到適當位置。
案件也會在兩次對帳間改變。下午三點十分客戶新增的單,應依截止規則歸到下一批。下午三點零五分才收到的撤單,則要查清楚是截點後新增事件,或先前已撤但來源清單晚更新。留下原始版本與調整理由,分別列出原批結果和新狀態。如果來單要跨日處理,清單還要注明採用的營業日與地區時間。總公司按照日曆日結算,物流據點可能把午夜以後到班的追加單歸到前一班。若兩邊沒有約定日切,在來源和目的端各自查同一天,兩份完全正確的資料也會看起來一邊漏單、一邊多單。一份可查的報告要能回答當時可知道什麼,也要讓下一班看見最新情況。
把交貨條件變成一張人看得懂的驗收單
合格的驗收單從讀者的動作倒推。主管先看原有承諾與結果,再決定要不要看細節。下面這張假設的單據驗收單,可以讓業務、倉管與資訊各取所需。公司既有表單若已經有同樣欄位,直接沿用即可,證據不必另建一座資料庫才成立。
| 查核問題 | 記錄示例 | 覆核者可以怎麼查 |
|---|---|---|
| 這次應做哪一件事 | 甲客戶、北區據點、客戶單 241、第 2 版 | 查收件清單與核定版本 |
| 哪些條件必須同時成立 | 正式有效、唯一、12 箱、送北區 | 用同等可見範圍比對主檔與明細 |
| 結果在哪裡 | 正式系統訂單 731,下午四點回讀 | 用唯讀帳號依單號重查 |
| 哪些變動已獲同意 | 原 10 箱改 12 箱,業務已核對修訂 | 查同一原單的修訂紀錄 |
| 有什麼事仍無法證明 | 未取得承運人收貨回條 | 留在後續配送追蹤 |
| 誰能解除例外 | 數量差異由指定業務覆核 | 依處理權限補齊依據後再放行 |
刻意只存「差異」也有好處。若原始文件已留在管控系統裡,驗收單放原始版本位置、欄位名稱、原值與回讀值即可。核對者回到授權位置看完整資料。若個資或報價敏感,摘要只寫「收貨據點不符,詳見受控紀錄」,權限仍照原系統管理。讓證據更好找,不等於把每個人的資料複製到一個人人可見的群組。
這張單最容易省掉的是讀取時間。但目的端紀錄會改,今早的正確資料可能下午已被改成錯誤。把「執行時間」「查核時間」「主管採用時間」分開記,才能把因果還原。例如當天四點確認地址正確,客戶五點改地址,隔天早上倉管才出單。此時應該處理的是出貨前如何取得更新,不能把隔天的畫面倒推成 Agent 當時使用了錯誤地址。
同一個理由也適用於權限。若查核者只看得到自己負責的業務區,就得把搜尋範圍寫出來。跨據點的重複訂單有可能藏在另一區,單區「只查到一筆」不足以支持全公司唯一。可以請具備授權的服務代做跨區計數,只回傳結果與授權查詢的紀錄位置,讓第一線同仁知道案件需要接手,同時控制不必要的暴露。
查對的工具,也要能指出它沒有看到什麼
企業常有一個看似很合理的設計,讓 Agent 完成工作後,再請它自行寫一段驗收評語。這種作法能整理經過,也能幫人快速定位例外。問題發生在它的輸入來源。如果它只能讀自己剛寫的摘要,即使每句話都合乎邏輯,也讀不到目的端是否真的落帳。要改善,先讓回讀來自不同的資料來源,再談要由人或程式判讀。
對結構化的工作,用簡單規則往往更省。品號逐行核對,數量依共用單位換算,整張單以原始識別碼檢查唯一性。針對需要判斷的內容,例如客訴回信是否把承諾講得過滿,可以先用模型找出值得看的一段,再由有權做承諾的人核對。兩種工作若都用「請打零到一百分」評分,就會把明確可驗的錯誤淹沒在一個難以解釋的平均值裡。
OpenTelemetry 說明分散式追蹤如何用 trace ID 將不同操作片段串在一起。工程團隊能據此找出哪個步驟在等待、哪個服務回了什麼狀態。企業若使用這種工具,可以在受控環境中把業務案件對應到追蹤編號,縮短查找時間。追蹤系統和業務系統的識別碼仍應分開,因為同一件待辦可能因重試出現多段技術紀錄,而一次呼叫也可能涵蓋數張業務單據。〔2〕
還有一些結果要等。今晚產生的報表看得到總金額,銀行入帳明細可能隔日才可核對。當下能證明檔案已產製、欄位完整、金額與內部明細相符,便先記成「已製表,待外部對帳」。替等待設定到期日與負責人;等資料到齊後驗證下一階段。要求系統提前為尚未發生的事下結論,團隊最後只好在可信度與準時率之間選一個漂亮的數字。
檢查工作品質,要保留相同意思的正確答案
接單容易示範,因為多數條件有標準答案。摘要會議、分析報價、撰寫回函要怎麼查?先把交付物拆成可以逐項判定的承諾。以會議紀錄為例,「週三前送備料估價」「由採購負責」「須先取得樣品確認」是三項可對回原紀錄的資訊;把三項以條列或完整句呈現,可以讓作者選擇。只用文字相似度去找標準答案,可能把換句話說的好稿打回,也可能放過用詞相近但日期錯誤的稿件。
主管可以找一段有爭議的對話來訂尺度。假設會中說的是「如果試作按時完成,再評估週五交貨」。初稿寫成「承諾週五交貨」。這是對外承諾的實質變動,要退件;另一份寫成「週五可否交貨,待試作結束確認」,保留條件,語氣簡潔,則可接受。把這一對例子連同原語句留在評審準則裡,新加入的同事比讀一行抽象的「資訊務必準確」更容易取得共識。這裡的引句都是為解釋判準所設計的模擬材料。
內容判讀仍可能出現分歧。請兩位實際承接的人獨立評同一小組樣本,記錄各自「會採用」「退回」的理由。若一位把「將再討論」讀成承諾,而另一位認為仍未決定,改善重點便是補齊能判斷承諾的語境。先釐清標準,再拿新案例驗一次;如果每次意見不合都給平均分,分數雖然安定,實際簽核時仍得從頭爭論。
也要避免讓驗收標準獎勵錯的習慣。若要求每段至少附一個來源位置,有人可能為每段隨手指向同一個附件首頁,形式完整卻沒有辨識力。把評審問題改成「覆核者能否依此位置找到支持該句的原始段落」,再試一次兩份證據互相衝突、日期先後不同的案例。遇到衝突能留下待釐清事項,有時比產出一份看似完整的定論更有價值。
抽查怎麼抽,才不會永遠只看順利的案件
如果主管每天只能花半小時,別把時間平均撒給所有事情。先把一旦錯了便難以挽回的事項列為逐筆檢查,例如對外承諾的變更、會立刻啟動出貨的訂單,以及一次影響多位客戶的批次。剩下容易更正、補救時間充足的工作,再抽查。依組織能承擔的後果設計覆核深度,便能清楚說明為什麼某一張異常單值得花十分鐘。
抽樣要有人說得出母體。純看「已完成」區,只會檢查已被選進成功清單的工作,永遠找不到漏掉的原始來單。從收件清單往目的端查一次,能抓漏件;從已建立的訂單往來源找一次,能發現多建或沒有來源的訂單。兩個方向回答不同問題。若每天人工時間有限,可以用規則先跑全批對帳,再從異常中取樣分析成因,另抽少量對帳正常件檢查規則本身是否漏看關鍵欄位。
以另一個假設說明抽樣的侷限。一批 100 張中確實有 5 張錯,等機率、不放回地隨機抽 10 張。完全沒抽到錯的機率是從 95 張正確單中選 10 張的組合數,除以從 100 張中選 10 張的組合數,約為 58.4%。換句話說,即使真的有錯,十張全過仍很常見。這個數字來自假設的母體與抽法,不能拿來估別家公司的錯誤率,卻足以提醒主管「本次未發現」和「全數正確」該用不同語句。
如果風險集中在新客戶、新單位或第一次使用外幣報價的案件,單純隨機抽也可能長期看不到少數類型。可分別保留一般案件的隨機樣本與上述條件的加強樣本。報告附各組抽法、入選筆數與已知限制。加強樣本的錯誤比率不能直接當全體估計,卻能幫助主管決定某種情境是否應暫時收回自動放行權。
出現矛盾時,給案件一個可以停靠的地方
最棘手的一刻,是 Agent 收到逾時回應,畫面上看不到結果,承辦又急著趕出貨。按一次重試看似能解決問題,卻有可能把已登錄但回應遺失的單再建一次。主管要替承辦準備一個可用的狀態,稱為「結果未明,先對帳」。此時可以查詢、比對、升級給管理者,對外寫入先停住。這是一個明確可工作的佇列,不能把它塞進「其他」然後等人想起。
AWS 的工程文章介紹以呼叫端提供的唯一請求識別碼表達同一次意圖,並談到目的端如何一致地記住識別碼與實際變更,以及識別碼保留期間的限制。企業導入時要問供應商具體支援到哪一層。只在自家表單補一個編號,若目的端每次收到都會新增一張單,重送仍會留下兩筆。若客戶真的要求改數量,也要照修訂規則重新確認,不能把一次新意圖誤認為先前的重送。〔3〕
遇到「已建立但資料錯誤」,同樣要先辨識下游狀態。草稿可以就地修正,有承運人取件的出貨單就得走既有更正流程。不要讓 Agent 為了把數據恢復漂亮,逕自刪除前一次紀錄。留存原單、變更前後內容、批准人及補救單號,才能回答隔天客戶問的那句「昨天給我的版本現在還有效嗎」。對於無權撤銷的事項,交回有權人處理,就是自動工作應有的終點。
如果來源系統與目的端一直對不起來,也可能是時點與詞義不同。採購按一箱十二入計價,倉儲按單品入庫,看見 5 與 60 不表示一定出錯。要核對品項、計量單位、該品規格、生效日期之後才可換算。如果產品包裝已改成十入,去年正確的換算表今年就會出錯。把換算表版本列進證據,能使主管判斷問題出在輸入、規則或目的端,避免所有差異都被送回給一線重做。
用一個下午試出證據是否足夠
先取已結案、經授權且適合演練的資料,或自行製作模擬訂單,讓正式系統與測試資料清楚區隔。從一般單、撤回單、同單兩版與重複送件各挑一例。請業務先寫下每件預期得到的終點,交給操作人員執行,再請從未看過當天對話的同事,僅用回條與其既有權限作出放行或退回決定。若他必須打電話問原承辦「你說的完成是什麼」,表示回條還缺少資訊。
第二輪專挑會騙過儀表板的情況。把測試單維持在草稿狀態,檢查系統是否把有編號當成可出貨。讓兩張不同單各有相同的金額,觀察程式會不會把合計數相符誤判為逐筆相符。將同一張已完成的單重新交辦,看證據能否指出同一件工作已經有結果。最後把查詢權限限制在單一據點,確認回條會明示它實際查過的範圍。錯誤如果每次都能被揪出,測的才是驗收方法。
第三輪把試驗交給業務主管主持。由他決定在兩分鐘內最需要看到什麼。通常首頁只需呈現本批應處理、可放行、待查證的件數與最早到期時間,點入才看異常理由和完整紀錄。對工程師很重要的延遲、工具回應和技術編號,放在相關案件內即可。這樣安排後,主管每次打開報表會知道哪幾件值得介入,承辦也不必另做一份手工摘要。
再請另一個部門照同一份文件處理一張不同工作。例如訓練單位希望 Agent 完成發放教材。終點可定義為符合名單的學員都能以自己的權限開啟指定版本,另外列出尚未取得授權者。教材有上傳紀錄,能證明檔案存在;學員點開得到拒絕存取,則直接顯示工作仍未交付。真正的跨部門複用,是帶走「從下一個使用者倒推證據」的問法,讓各部門自己填入可判定的終點。
收到更正通知,能不能從報表倒查到受影響的人
驗收完隔天,若客戶告知原單有誤,團隊還需要回答一個原本容易被忽略的問題,誰已經依昨日的結果做了什麼?舉例來說,客服把出貨地址改正後,銷售系統的畫面已經正確,但倉庫昨天傍晚已印出舊揀貨單。若主管只查最新一筆資料,會以為工作已經處理好。此時要從原本的單號找到相關出單批次,再確認有人收回舊單,或倉管收到並採用了修訂。讓證據支援向下游追蹤,才有辦法把一次更正真正送到需要它的地方。
同樣的情況也會發生在數字報表。假設原始資料有兩筆等額費用,甲部門錯列多一筆,乙部門錯列少一筆,公司合計仍然正確。主管若只核對月總額,就可能把兩份不正確的部門報表寄出去。報表的用途若是編列部門預算,驗收就該深入部門別。如果讀者還要依專案分攤成本,就要再核對對應層級。檢查的粒度應跟讀者會採取的行動一致,否則報表團隊以為完成,使用報表的人仍得重新對帳。
檔案版次也可能讓證據失真。某位主管收到的是試算表附件,另一位收到可隨時更新的共用連結;兩人各自說「我看過了」,所指的內容未必相同。可以讓每次正式交付留下版本標示、統計期間、資料截點與交付名單。若用共用連結,讓歷史版本有可辨認的身分;若採寄送附件,保留哪一版交給哪位收件人的記錄。後來發現問題時,先找受影響的人,提醒他們暫緩使用,才有餘裕慢慢調查是哪一段發生變動。
資料量一大,逐欄保存所有舊值不見得划算。把當時的驗收摘要、原始版本索引與必要的差異保留下來,開會時一起決定回溯期限及讀取者。像只要當天排班的提醒,需求會隨班次過去而降低;可能關係到交貨爭議的內容,需要向內部權責單位確認保存需求。若業務不能長期取得客戶端的歷史畫面,事先請對方提供能合理留存的回條,或在承諾中明確標示公司能驗到哪一段。過期後查不到的資料,不宜在今天的交付契約裡保證將來一定能重現。
有時實作這些選擇只需改一張現成的簽核表。原表最後一欄寫「結案說明」,承辦填了長長一段,主管卻不知道從何查起。試著分成「我核對的對象與版本」「我比對的兩個位置」「目前仍採用舊版本的下游」三欄,再請一位不在場的同事倒查三件真實授權樣本。若他總是卡在第三欄,就代表公司擅長把事情做出去,還不擅長在更正時把事情找回來;下一筆改善預算便有具體去處。
也不必把每一個低風險動作都做成沉重稽核。個人草稿若從未交付下游,保存版本與人工採用記錄就可能足夠;對外寄發的承諾,則需要清楚的核定版本和送出依據。用邊際價值判斷證據的厚度:新增一個欄位,能否讓接手者辨別原本分不清的兩種處境,或減少一次有實質影響的誤判?若連使用那個欄位的人都說不出來,刪去它可以讓真正該注意的差異更容易被看到。
主管在簽下驗收前,該拿走哪三樣東西
第一樣是一張結果清單,每一個應處理的原始對象都在上面,完成、等待或需要介入,彼此可以對得起來。第二樣是可追查的證據位置,讓有權人離開 Agent 的對話後,仍能查到足以放行的最終狀態。第三樣是一張例外清單,每一件都標明接手人、下一個可執行動作與期限。三樣不必是三個新檔案,現有系統若能提供同樣資訊就夠。
回到一開始的倉管。他真正希望看到的一行訊息會是:「截止三點共有 24 張,20 張已核對可排貨,清單在批次頁;另 4 張暫緩,其中 1 張有重複出貨風險,由業務在裝車前確認。」這一次,他可以立刻處理 20 張,也知道剩下的貨要留在原位。主管簽下的,是這一批已經查明的工作,以及下一班有能力接住的例外。要評估部門是否適合導入,帶一張有爭議的舊案件來做這個練習,比先挑一款新的 Agent 更能看出值得投資的環節。
讀者工作表與延伸閱讀
延伸閱讀|AI Agent 如何驗收?別只看 Demo:企業比較導入廠商必備的評分表、測試案例與合約條款
帶一張曾被回報完成、卻遭下游退回的案件,定義哪些證據足以放行。 討論 Agent 任務驗收
資料來源
本文由 TARAISG(TIANDIREN AI SOLUTION GROUP)使用 AI 模型產生正文、整理來源並設計實務工具。方法依據與限制列於文末;案例為明確標示的教學假設。未有具名紀錄時,不宣稱經人工或專家審核。
查看內容製作與更正說明