AI 工作實務
AI 專案展示很精彩,上線後卻沒人用:老闆該驗收什麼?
從一週 120 件詢價追到核價人手上,分開看啟用、合格交付與返工。附案件流向試算和放行決議表,讓主管有依據擴大、限用或暫停試辦。

本文目錄
先從客戶收到的東西往回走把分母講清楚,才看得見被放棄的案件一筆案要有兩個時鐘從展示資料走到第一次獨立交班一句「我習慣舊方法」,背後可能是合理選擇簽收、試辦和擴大使用,各開一個決定在同一場會議裡,交出一份有邊界的決議三個常被誤讀的現象換一組案件,驗收會得出不同決定嗎同樣是驗收,把場景換成每月一次的管理報表證據不足時,要寫出可以改變判斷的下一筆資料可以直接拿來主持會議的五個追問一頁驗收決議,從觀察寫到授權最後一道驗收,是老闆能不能據此少做一個錯誤決定延伸閱讀與企業實作從一週 120 件詢價追到核價人手上,分開看啟用、合格交付與返工。附案件流向試算和放行決議表,讓主管有依據擴大、限用或暫停試辦。
九點的會議室裡,顧問把客戶來信拖進視窗,一份格式工整的報價草稿就出來了。下午四點半,同一位業務收到另一封詢價信,還是打開自己用了三年的試算表。客戶要沿用上季的專案折扣,貨卻要分兩批交,這些條件在展示資料裡沒有出現。離下班只剩半小時,他知道用舊方法來得及,也知道報錯的人要親自打電話道歉。這是一個假設情境,卻點出驗收會議該換座位的人:下一次請業務操作,讓展示者坐到後排。
老闆要驗收的是一筆工作從進件到被下一站接手的結果。最有辨識力的問題是:「上星期有哪些本來適合交給系統的案子,最後走了別條路?把其中一件打開來看。」這樣問,部門得拿出實際分母、案件去向和使用者的選擇。只問使用次數,團隊很容易把同一份草稿來回修改十次,報成十次成功。
先從客戶收到的東西往回走
以設備經銷商的報價為例。客戶真正需要的是能確認規格、單價、有效期與交付條件的一份文件。業務真正要完成的是取得必要核價、交給客戶,並讓內勤知道客戶收到的是哪一版。假如 AI 只負責整理品號和撰寫說明,應該驗它交給核價人的那一份草稿。把客戶最後有沒有下單當作唯一標準,會混入庫存、競品、信用與時機等因素。反過來,只驗字句流暢,則可能讓根本買不到的規格出現在報價裡。
退一步,把進件、整理、核價、寄出、留底畫在同一張紙上。每一站寫一件能看見的東西。進件是有時間戳記的詢價,整理是帶料號與來源的草稿,核價是有人確認的版本,寄出是寄件紀錄,留底是訂單人員找得到的報價編號。把計畫承諾改變的那一段圈起來,其餘站點先保留原有做法。這樣一來,月底多成交了兩筆大單,大家也不必爭論其中多少功勞屬於模型。
能留下證據的位置未必就是裝新軟體的位置。假設單一窗口收到郵件,由三個產品組輪流處理,公司已有一張派工表。讓前任務與後任務共用既有案件編號,多添「採用草稿」、「改人工」、「等待補件」與原因欄,就能追出大部分流向。另開一套專案填報系統,會把第一線的時間花在證明自己有用工具。記錄若比補做整件事還累,資料很快就只剩最配合填表的幾個人。
英國政府服務手冊把成功指標與使用者研究並用,也要求從不同管道觀察服務表現。放在報價現場,最好的搭配是拿收件簿計件,再請承辦人解釋一筆為什麼改走人工。 UK Government Digital Service 原始說明
把分母講清楚,才看得見被放棄的案件
假設一週共有 120 件詢價,其中 20 件是一開始便排除的客製工程,餘下 100 件屬試辦範圍。70 件曾開 AI 草稿,52 件獲核價人直接接手,另外 18 件退回或重做。若要量的是合格詢價中有多少啟用工具,分母是全部 100 件,因此啟用率為 70%。若以合格案件能否沿新路徑交予核價人看,則是 52/100。若只想找工具開啟之後的問題,可看 52/70,約 74.3%。三個數字各有用途,選錯分母,主管便會把「想用卻接不下去」誤判成「員工不肯學」。
那 30 件完全沒開工具的案件也值得看。區分「輪值的人沒有權限」、「當班看不到進件通知」、「已有簡單到不值得啟動的舊表」和「業務認為例外不能處理」。第一種修帳號,第二種修入口,第三種縮小適用範圍,第四種需要拿實例重測。用一堂全員教育訓練回應四種原因,課程滿意度也許很好看,隔週那 30 件仍會留在舊路上。
分母應在看結果之前定義。若產品組直到某案失敗後才補寫「這種客戶本來就不算」,失敗會逐步消失,試辦數字就不再能和原承諾比較。可以調整範圍,把生效日和上一期分母保留下來。下一次會議就能分清楚「材料齊備的案子真的改善了」,和「本期剛好少了最難做的那批」。若原本就很少件,直接列出件數和逐案結果,比單獨展示百分比更能誠實反映情況。
一筆案要有兩個時鐘
試辦時請業務同時記下「動手處理時間」和「客戶經過多久拿到答案」。以前撰稿要 15 分鐘,現在只要 6 分鐘,這是處理時間的改善。如果新的集中覆核佇列讓客戶多等半天,對客戶承諾的交期反而更差。要找出差異,只需在相同樣本記進件、開始處理、送核與交接四個時間,先判斷慢在手上還是慢在等人。第一期用少量有品質的案例,通常勝過一大張沒有開始與結束定義的平均數。
再算一次包含返工的帳。以下是說明算法的假設,與前述週報區分。40 件同類案件原本每件花 15 分鐘,共 600 分鐘。新做法每件產稿 6 分鐘、核對 4 分鐘,另有 8 件各補 12 分鐘,合計 496 分鐘,淨省 104 分鐘。若系統使用人只報產稿速度,會報出節省 360 分鐘。兩者之差是審稿和返工,不會因為由另一個部門負責就消失。此處算的是可重新分配的時間,財務仍須確認它被拿來做什麼,才能討論支出或營收。
也要看看最慢的案子。幾件大客戶詢價若都卡在退件隊伍,平均數會掩蓋交期風險。小團隊可把每件時間依長短排列,請業務帶著最慢三件回顧,逐件決定要加快、提前告知客戶,或直接改人工。求一個看似精密的百分位數,在件數少的週次未必有幫助。把極端案件的實際後果寫在旁邊,能讓主管知道要不要為它花錢。
從展示資料走到第一次獨立交班
驗收題庫先從三個地方取材:正常件取自經常成交的產品線,困難件來自最近退件,界線件來自部門已經決定要拒答或轉交的例外。三者都要去除可識別客戶的資訊,另存核准答案、判斷理由與可接受的變化。業務部門掌握答案,專案團隊可以知道驗收原則,留一部分案件到當天才揭曉。供應商若必須事先看完全部答案才能做出成果,這套展示能證明重現能力,獨立處理下一封信仍待確認。
正常件讓新人用自己的工作帳號做一遍,困難件讓資深同仁判斷系統在哪一步要請人決定,界線件則檢驗它會不會在資料不足時還答得很滿。驗收者要寫自己親眼看到的結果,例如「未取得有效價目表時,草稿保留金額欄空白,並產生待確認事項」。寫成「AI 懂得商業情境」無從重測。即使措辭每次不同,只要客戶承諾、金額來源與核准路徑一致,便可能符合工作需要。
還要交換角色。下一輪由平常接手的內勤核對,讓建立流程的人離開座位,不回答操作問題。若內勤花七分鐘在聊天歷史裡找最新版,系統其實把保存動作留給了記得對話的人。這時宜調整歸檔位置或給每份輸出一個穩定編號。驗收表記下誰找、從哪裡找、花多久、最後拿的是哪一版,修完再用另一件資料重測。
一句「我習慣舊方法」,背後可能是合理選擇
假設業務在客戶電話中當場回答到貨日。新版工具只能在另一個視窗上傳客戶附件,等結果出來還要複製進原系統。再漂亮的答案都來得太晚。訪談應請他重演最近一次通話,觀察他在何時已經必須作決定。把 AI 提早用在來電前的庫存摘要,也許比繼續優化回答文筆更適合。改善的對象是做決定所處的那一刻。
另一名業務可以操作,卻怕主管從修改次數判斷表現。若所有修訂都被列為個人失誤,他會在系統外先整理好,貼回一份看似完美的結果。此後管理者看到的資料,很可能無法估計真實作業時間。試辦期可把記錄限定於流程改善,個案分析使用案件編號,只在還原作業時找當事人。主管應先說明誰可看、看來做什麼,再請團隊交出那幾件最難做的案子。
也有舊方法本來就更適合的工作。一位長期客戶每週訂相同規格、價格由有效合約決定,從原訂單複製並確認數量就能完成。新增一段生成文字的步驟或許只會多一道核對。此時可將該類排除,把人力集中在附件格式不同、需整理品項的詢價。老闆若只在乎使用率,第一線會為了達標多做無效動作。把適用範圍調準,也是一個值得驗收的結果。
簽收、試辦和擴大使用,各開一個決定
專案建置完,採購可能要確認合約約定的功能是否交付。部門要確認可否讓第一批同仁試用。老闆另要決定要不要增加席次或取消舊流程。三個決定可以有不同答案。合約約定的產稿功能通過,部門仍可因核價介面不順而維持限量試辦。若把三者壓在同一個簽字欄,業務主管會擔心一簽就要承擔全部後果,採購也會把使用率不足錯當成供應商沒有履約。回到實際約定,分開記錄證據與權限,會議較容易往下走。
設定觀察窗口時要看工作頻率。每天數十筆的一般報價,可在短期間看見重複使用與退件。每月只做一次的特殊結算,即使連續十個工作日沒出錯,也可能根本沒碰到目標任務。先用歷史去識別資料補驗,再保留一次真實週期重新確認。驗收表應清楚標示哪些結論來自歷史重播,哪些來自現場使用,哪一項仍需跨月驗證。期間長短本身不代表證據強弱。
假設試辦初期產稿很快,但核價人每天固定下午三點才看佇列。若公司靠早半小時報價爭取訂單,真正有價值的修正可能是依交期排序,或在緊急件進站時提醒授權人。這不必改模型。專案團隊可以將新增功能、工作規則和組織協調分成三種待辦,再用同一批案例重跑,驗證改了之後客戶是否真的較早收到可用的報價。不要讓所有改善都進到工程部門的待辦清單。
在同一場會議裡,交出一份有邊界的決議
讓提出專案的人呈現基準與本期結果,讓第一線選一件願意繼續用的案子,也選一件堅持走人工的案子。再請下游部門從兩件各指出一項它真正用得上的欄位,和一項仍得自己補做的事。這一步能讓老闆聽到三種互相制衡的證據:專案原本想改善什麼、執行者會怎麼選擇、收件人願不願意接。不必再以掌聲或滿意度推測系統有沒有進入工作。
假設會中只確認國內標準品詢價可用,急件、外幣與客製折扣仍轉主管。決議可寫「下週開給北區內勤兩人,限有效價目表內的國內標準品。客製條款交業務主管判斷,週五依適用案件數、核價退件與到客時間重新決定」。這句話包含了誰能用、用在哪裡、例外由誰接、何時回看。若寫成「原則同意推廣,請各部門積極配合」,下週即使失敗也難以找出是什麼判斷出了問題。
老闆還應知道要花多久才能改善。若尚缺必要的價格主檔,且兩週內無人能核定,繼續請員工試用只會累積更多手動修正。這時可暫停擴大,將資源先放在主檔與授權。若只差一個匯出欄位,下游能確認欄位加好就接手,則可以限期修正後續辦。同為「未達標」,成熟度、修正代價與下游意願都不同,決議不宜只剩通過或失敗。
三個常被誤讀的現象
第一個現象是使用人少,單人卻處理大量案件。若公司本來就由兩名內勤集中整理報價,用兩人的帳號完成大部分合格案件,可能已經很成功。相反地,人人偶爾登入、案件始終靠集中人員手動重做,看似普及,對營運貢獻有限。分辨方法是回到職務和案件量,不要用全公司員工數當作每個工具的使用者分母。
第二個現象是錯誤通報變多。試辦前退件靠口頭溝通,試辦後才有正式紀錄,通報增加可能來自識別能力改善。選一組可比的舊案件,用同一把尺回看,並把已知但未記錄的錯誤與已發現的新錯誤分開。特別關注錯誤在哪一站被攔下。上線初期在內部多攔幾件,和讓更多錯單送到客戶手裡,意義完全不同。
第三個現象是每件處理變快,整體件數卻沒增加。若需求固定,縮短整理時間不會憑空創造新訂單。看看釋出的時段是否轉去追蹤逾期報價、縮短高峰等待,或讓原本靠加班完成的工作回到正常工時。若團隊有意識地將節省時間用於提高服務品質,就應驗收相應證據,不要硬換算成尚未發生的營收。
換一組案件,驗收會得出不同決定嗎
以下模擬同一家公司四條報價路徑。適用件數由進件時的規則決定。啟用是曾以工具開始工作。交付是下游確認可以繼續核價。四列是獨立觀察的案件組,不與前面的週報合併。先看自己會把下一筆預算投到哪一列,再核對現場理由。
| 案件組別 | 適用件 | 啟用件 | 合格交付件 | 適用件交付率 | 已啟用後交付率 |
|---|---|---|---|---|---|
| 固定品號詢價 | 50 | 32 | 30 | 60.0% | 93.8% |
| 含選配報價 | 40 | 36 | 18 | 45.0% | 50.0% |
| 電話急件 | 20 | 5 | 5 | 25.0% | 100.0% |
| 跨幣別報價 | 12 | 10 | 8 | 66.7% | 80.0% |
入口藏得太深,還是舊方法真的更快
啟用後的成功率高,下一步應追沒有啟用的那群。派工人員發現其中有些只需沿用前單、有些因無法從共用信箱開啟工具而放棄。前一類可以保留原方法,後一類則值得把入口接回日常收件處。若直接把所有未用者列入補課,既會打擾本來效率就高的人,也不會修好入口。
大家都有開,為什麼只有一半接得下去
這組案子最先需要的是退回理由。若核價人要的選配相容性說明沒有來源,讓業務多開幾次系統只會增加草稿。把退件按缺規格、價格未授權與交期未確認分組,再為最大類補一項可核對的輸入。下一輪比較相同類型的退件是否減少,不能只報啟用件數回升。
五件全部成功,還不夠決定全面推廣
五件可能都是業務恰好有時間輸入的簡單詢價。先請當班人員重演未使用的十五件,檢查電話中需要立即回答的時點。若工具無法在通話前提供任何幫助,可改為通話後整理交接,而非要求前線把客戶放在電話另一端等。這會改變工作目標,也應更新驗收口徑。
合格件數不多,錯一次的後果卻可能很大
若兩筆不合格是抓錯匯率生效日,下一次應逐件核對匯率來源與主管核准時間,即使其他件的格式都正確也不宜自動外寄。若是外幣符號排版而金額正確,修正方式與影響範圍則較小。相同的交付率可以對應不同處置,決策表應附一件實際錯誤樣本。
四組合計時必須重新加總分子與分母,不能平均四個百分比。也可以先把電話急件從全面推廣改成特定時段輔助,保留兩版規則並行比較。對老闆而言,能指認哪一組值得擴大、哪一組該改工作設計,往往比拿到全公司單一使用率更接近可投資的答案。

同一套服務手冊另以不同管道的交易為基礎說明數位採用的分母。本文將這個問題轉成適用案件、工具啟用和下游接手三個不同口徑,百分比應依經營問題分開讀。 UK Government Digital Service 原始說明
同樣是驗收,把場景換成每月一次的管理報表
假設一家小型連鎖企業的月報,原本由營運整理門市銷售、退貨與活動紀錄,AI 現在可以先寫經營摘要。這類工作的使用次數天生很少,一個月順利產出一次,可能就完成原本全部需求。以每日登入或全體員工採用率驗收會得到荒謬結果。應該問經理有沒有用摘要找出需要追查的門市、財務能不能回到相同報表重算、原本準備會議的人是否少做一次搬資料。
第一輪拿已結束月份測試,而且刻意選一間剛搬遷、一間有大型活動的門市。數字同樣下滑,原因可能是實際客流減少、停業天數增加或上期促銷基期偏高。AI 可以指出變化與需要查證的假設,不能只憑銷售表就宣告某位店長管理失當。主管驗收時可圈出三種句子:得到來源支持的觀察、需要查證的推論、準備採取的行動。把推論寫成已知事實,就算數字抄得完全正確,整段仍須退回。
第二輪由區經理在開會前一天讀摘要,要求他寫下一個本來就會追查的問題,以及一個摘要促使他新增的問題。會議結束回看哪些問題真的被討論、哪些因數據無法解釋而作廢。這項觀察很小,卻比要求所有管理者按「有幫助」更能測到工作價值。若摘要有助於組織會議材料,卻沒有改變主管決策,也可以老實將成果定義為會前準備省時,別刻意放大為策略改造。
最後換一個人做。原本整理報表的人知道哪間店剛重新裝修,會自行刪除錯誤推論。替班的人是否看得出來?給各門市營業日、已知事件與資料截止時間一個可回查入口,可以讓經驗差異縮小。若這些條件一直留在某位同事的腦中,報表生成時間變快,其實只是讓他的覆核壓力變大。驗收時應把替班者的修改時間也計進去。
證據不足時,要寫出可以改變判斷的下一筆資料
驗收會上常聽見「再觀察一個月」。若沒有說明要等哪種證據,一個月後大家只會拿到更多相同的截圖。可以把尚未確定的地方寫成可推翻的判斷。假如團隊認為低採用由登入步驟造成,就先讓其中一組從原派工頁直接開啟,再比較遇到相同資料類型時的完成情形。若原先會棄用的人依舊不開,下一輪應查工作時機和輸出是否被下游接受。
若主管想知道品質是否改善,先固定評分規則和抽樣方式,再保留反例。有些部門習慣只抽完成件,上線後最嚴重的失敗偏偏在完成前就改走人工。可以從原始收件簿抽案件,回溯每一件的去向,把完全沒開工具與已開但退回者一起納入。也要留意業務量是否正從淡季走向旺季,活動或人員調整都可能使前後比較失真。不是每個小團隊都需要嚴格實驗設計,但至少要知道證據支持到哪裡。
另一種驗證是先請主管寫下「哪個結果會讓我同意停止」。如果答案是「無論如何都要推」,這場會議其實無權作驗收決定。可以將項目拆成公司已決定要保留的基礎能力,以及仍可取消的功能與擴充範圍。即使企業已承諾數位轉型,仍可放棄這一種不好用的操作方式,改用更貼近現場的做法。讓負面證據也有影響決定的機會,員工才願意把最值得改善的案件交出來。
可以直接拿來主持會議的五個追問
「請給我一件沒有走 AI 的合格案件。」這個問題辨識入口、時機與信任。「下游收到以後,還必須自己補哪一項?」這個問題找出從個人省時轉移到別人的負擔。「如果建立工具的人今天請假,誰可以重新產出並核對?」這個問題檢驗獨立運作。「哪一種錯誤一旦出現,就要先關掉對外動作?」這個問題替授權畫出邊界。「下次擴大以前,還欠哪一件看得見的證據?」這個問題讓會議產生可以追蹤的決議。
把回答整理成一張紙。左側放原工作、可納入範圍及本期案件去向,中間放核價人接件條件、對客交期與退件樣本,右側只寫放行範圍、限制、負責人和複查日期。開會前填不了的欄位,保留空白和原因。例如沒有人工原始耗時,就先記本期起開始抽樣,暫不宣稱省下多少。能讓老闆分辨「已經知道」與「還值得投資去知道」,正是驗收表超過成果簡報的價值。
一頁驗收決議,從觀察寫到授權
這份表單給要決定是否擴大試辦的主管。先填前四欄再進會議,最後兩欄留給業務負責人與老闆一起決定。獨立填寫的人若得出不同答案,先核對他們是否使用相同的期間、案件與成功定義。
適用範圍:哪些詢價本來就該進入這次試辦?
以收件簿為起點,記下日期、產品線、條件齊備與應排除的原因。例如國內標準品納入,而需原廠確認的特殊設備先排除。
在觀察期開始前鎖定口徑。後續改範圍要留下生效日,以便看出分母改變,維持新舊制度可比較。
下游接受:誰可以說這筆草稿已達下一站的門檻?
核價人需看得到料號、價格來源、有效期限和例外事項,才能開始審核。加上實際接手時間,才能知道結果是否在原承諾之前送達。
把只產生檔案、已交核價與已對客寄出分成不同狀態,不將同一份文件反覆修改算成多筆成功。
退回人工:改人工是合理分流,還是工具讓人做不下去?
價格超過授權額度而轉主管屬正確行為。工具沒有提供必要來源而被退回,則是需改善的失敗。兩種情形即使最後都由人工處理,也要記不同原因。
每週選一件合理轉交和一件可避免的返工,分別問流程所有人是否接受,有助於縮小兩邊對成效的落差。
時間範圍:哪一個時間代表公司對客戶的交付?
分開記處理分鐘、等待核准和到客時間。原始詢價有缺件時記補件往返,明確說明等待客戶的時間是否列入服務承諾。
同一張表允許不同時鐘,但不能用節省的手動處理時間取代對成交時限的判斷。
放行限制:下週哪些人可以做哪些動作?
用角色、品類與對外權限描述。一般報價可產草稿,未核准的折扣不得寄出。負責人可以停單,不需等待到下次月會。
讓輪值同仁讀決議,確認他能從一筆新詢價判斷可走哪條路。若必須找原作者作解釋,條件還太模糊。
複查材料:哪一項新證據會改變下次決定?
指定下一期要比較的案件組、需改善的退件類型和收件人,並授權一人整合結果。若改善只出現在開啟次數,就維持原範圍。
會議結束時交付一份具日期的決議和下一次抽樣方式。接任主管應能根據相同材料,說出當初為何允許或暫停擴大。
最後一道驗收,是老闆能不能據此少做一個錯誤決定
請看一個反例。假設主管要求公司每週自動產出五十份客戶拜訪摘要,以份數驗收。業務為了達標,會把不需要摘要的短通話也送進系統。內勤現在多了五十份文件要存,而且仍不清楚哪些客戶需要追蹤。若把目的改成「下次接觸客戶前,新的承辦人能找到已承諾的事項及時限」,第一週可能只需處理幾筆換人交接的案件。數量變小,卻更接近原本要解的問題。這種重新定義任務的能力,是老闆應帶進驗收室的責任。
另一個常見分歧是「員工已經不用舊流程」究竟算不算成功。若公司在新工具上線當天就關掉舊入口,使用量當然會增加。被迫使用的人可能同時把正確紀錄留在自己的試算表,直到每晚下班才補填系統。檢查方式很簡單:抽一筆本週完成的工作,請承辦人從收到到交出重演一次,記下在哪個地方複製、改寫、核對或等人。看懂影子流程的用途,比要求員工刪光自己的工具更能幫主管決定要改哪一段。
若只能帶一樣東西進下一次會議,帶一張完整走完的案件紀錄,包括沒有使用工具的那段。它會同時顯示公司想保護的承諾、第一線如何取捨,以及下游到底拿到什麼。老闆簽的應是有條件、有證據、有人接手的下一步。當驗收能讓企業知道哪裡該增加投資、哪裡暫時維持人工,展示那天的掌聲就有機會轉成隔天真正會被使用的工作方式。
延伸閱讀與企業實作
AI PoC 驗收不能只看準確率:從成功 Demo 到正式上線的證據清單
帶一筆已結案的詢價與最近的核價退件,與天地人討論如何設計部門驗收實作。 企業內訓與實作安排
本文由 TARAISG(TIANDIREN AI SOLUTION GROUP)使用 AI 模型產生正文、整理來源並設計實務工具。方法依據與限制列於文末;案例為明確標示的教學假設。未有具名紀錄時,不宣稱經人工或專家審核。
查看內容製作與更正說明