同一個問題，AI 兩次回答不同：主管要怎麼確認正確性？

教學方法專題｜案例、時程與表單為編輯設計示例，非客戶實績或已完成的產品實測。

核心答案：財務主管問 AI：「這個月退貨增加的原因是什麼？」早上得到「產品品質」，下午卻得到「物流延誤」。沒有輸入資料、模型設定、搜尋來源與工具呼叫紀錄，這兩段答案都只能算描述，無法成為決策證據。

專題編輯：Iris Hsieh｜IT、品質與稽核主管

圖說：天地人原創編輯流程圖，為教學示意，非真實企業現場或產品操作畫面。

一致性不是保證文字一模一樣

生成式 AI 的回答可能因模型版本、生成參數、上下文、外部檔案版本、檢索結果或工具回傳而變動。對管理者來說，追查重點應從「兩次措辭是不是一致」改成「兩次使用的證據、計算口徑與結論能不能說明」。若企業將 AI 納入流程，就需保留能判斷上述差異的紀錄，而不是依賴員工手動截圖聊天視窗。

先畫出六段證據鏈

工作請求 → 輸入與規則版本 → 模型與參數 → 資料來源版本 → 工具執行結果 → 人工核准與交付。

每段至少有可追溯識別碼。run_id 代表一次執行；model_id 與 model_version 記錄選用模型；prompt_hash 可以判斷指令是否變更；dataset_version 與 source_uri 記錄當次參照的資料；tool_event_id 與 result_hash 追蹤工具輸出；reviewer 與 decision 記錄人工採納與否。不是每個系統都原生提供完整欄位，需由實際架構設計補足。

Microsoft Foundry 的官方追蹤文件說明了 Agent 執行軌跡、工具呼叫與例外追蹤；但監測資料可能含有提示詞、輸出及工具參數，因此不應把完整個資或憑證寫進日誌，必須做存取控制與保留期限規劃。

事故排查的五個問題

1. 兩次問句真的相同嗎？是否附了不同背景？
2. 模型部署、提示詞版本與工具設定是否變更？
3. 參照的資料更新時間是否一致？
4. 有沒有未完成的工具呼叫、逾時、重試或部分資料？
5. 最終結論是否經人員對照原始報表與指標定義？

模擬案例中，第一輪查詢只包含退貨原因代碼，第二輪多了客服對話。兩輪引用的證據母體不同，不能把「答案不一樣」直接判定為模型故障。更重要的是能明確標示「資料口徑改變」，並撤回未經核實的因果結論。

直接可用的查核格式

表中內容全部是教學模擬值，不是某一個模型或平台的真實執行紀錄。實務上還應記錄資料來源使用權、時區、保存期限及刪除程序。

提示詞也應承認不確定性

根據已提供的證據，將結論分為「資料直接支持」「合理假設」「目前無法判定」。每一項結論附來源文件及版本。沒有證據時不得推測成因。若來源彼此衝突，列出衝突資料、缺口與需要人工追查的問題。輸出不得包含任何未核准的個人資訊。

在對外財務、品質或客戶承諾情境中，模型答案不能單獨成為最終定論。合格的 AI 系統不必每次說同一段話，但必須能交代依據、限制、責任與版本。

把兩次不同回答拆成「資料不同」與「推理不同」

品質主管可以建立三輪控制測試。第一輪固定模型與指令，只替換資料快照，觀察結論是否跟隨資料而改變；第二輪固定資料與模型，改變指令版本，檢查輸出格式是否更穩定；第三輪固定輸入與規則，重跑多次，觀察關鍵事實是否持續一致。這三輪測試所問的是不同問題，不能混成一個「準確率」。

如果兩次結論都引用同一個金額，但一個把它當退貨額、另一個當退貨件數，真正的問題可能在欄位定義或單位映射；若兩次只差形容詞，卻有同一份可核算資料，則不必把語言變異誤判成系統失效。資料治理與 AI 品質要一起分析。

真正可追查的紀錄不等於收集越多越好

完整留存員工所有提示詞可能造成內部資料與個資風險。組織應按工作風險選定日誌最小必要欄位，對高敏感內容使用遮罩、摘要、雜湊與權限控管，並制訂保存及刪除政策。雜湊只能用於內容相同與否的比對，不會自動提供原始內容，也不能單靠雜湊證明內容正確。

當需要追查「誰核准把 AI 的摘要放到正式報告」時，必須能找到負責人與核准時間。若只能找到模型的輸出，卻找不到人工採用決策，這條證據鏈仍未完整。

圖說：依本文工作方法繪製的原創示意流程；並非系統實測畫面。

讀者可立即使用的工作資產

範本：ai_evidence_chain.csv 教學工作包（ZIP）。此檔案包含教學用的示例資料，不是實際企業統計或已完成測試的證據。

資料來源與適用邊界

• Microsoft Learn：Set up tracing in Microsoft Foundry。
• NIST：Artificial Intelligence Risk Management Framework: Generative AI Profile。

本篇以官方文件與通用流程治理原則為基礎，並提出原創工作方法；不代表對任何企業租戶、ERP 版本或 AI 產品完成實機測試。價格、方案、法規與功能會變動，採購或正式部署前應與供應商、IT、資安及資料責任人查證。教學數據與案例均為模擬。

讀者下一步： 將範本帶回企業，先由實際流程擁有人確認現況與限制，再決定是否需要企業內訓或 AI 導入試點。