AI 工作實務
公司知識庫越建越大,AI 卻找不到正確答案:誰負責更新、淘汰與版本管理?
六月出貨的設備,可能不能引用七月生效的新保固。用文件生效日、交易日與撤回測試,找出問題卡在規則、入庫、搜尋還是生成,並明確交給負責人。

本文目錄
文件很多,可能在四個不同地方失手生效日、上傳日和交易日是三個欄位誰負責更新,誰有權讓錯的答案消失從引用正確率往回追,才知道錢該花在哪裡刪檔以前,先回答舊客戶明天來問怎麼辦用一場編審會,處理兩份都說自己最新的文件權限也可能被誤認為「搜尋不好」用五道題驗證同一個版本切換換成內部差旅制度,正確答案要能隨身分改變搜尋與回答要分開看,文件切割才有改善方向決定哪些文件值得投入整理工時把一份文件送進知識庫前,用六個問題檢查它是否能支撐回答當知識庫開始引用自己,怎麼辨認答案正在繞圈主管在月會該看哪些數字讓更新變成日常工作的一部分延伸閱讀與企業實作六月出貨的設備,可能不能引用七月生效的新保固。用文件生效日、交易日與撤回測試,找出問題卡在規則、入庫、搜尋還是生成,並明確交給負責人。
客戶六月買了一台設備,十一月才報修。客服問知識助理保固多久,得到「兩年」且附文件連結。文件是真的,條文也寫得一字不差,但兩年保固只適用七月以後出貨的新版,六月的那一台仍按舊約。刪掉舊文件會傷害舊客戶,保留兩份卻不告訴系統哪份適用,也會答錯。知識庫的關鍵,不只是讓機器找到文字,而是讓人有辦法判斷哪一份文字有權回答眼前的問題。
主管可以用一個現場測試開局。挑同一個產品、兩個購買日期,再加一題沒有購買日期的問題。系統應在前兩題引用各自適用的文件,在第三題回問缺少的條件。三題都拿到一樣流暢的答案,表示公司要檢查版本判斷。三題都說沒有資料,則要查收錄、權限或搜尋。這是合成情境,以下日期與文件名稱只用於演練。
文件很多,可能在四個不同地方失手
第一種是根本沒有可採信的規則。客服流傳的便條、業務簡報和網站說明互相衝突,而產品部還沒確認哪一份適用。重新切割文件、改善搜尋或換模型,都無法替產品負責人作決策。此時系統應能標記待裁定,將問題交給能釐清條件的人。問答數量一時變少,客戶得到未經確認承諾的機會也跟著下降。
第二種是規則正確,資料沒有入庫。產品部已經更新正式文件,但知識庫抓的是另一個資料夾,或掃描文件裡的表格欄位沒被正確擷取。第三種是新舊版都入庫了,搜尋優先找出文字最接近、時間卻不適用的內容。第四種是檢索已找對條款,生成答案時省略了除外條件。查這四層要看不同證據:核准文件、擷取後內容、檢索候選與最後答案。若只看最終回答,故障會一直被歸給同一個模型。
把最近三筆客訴或內部疑問做成維修單,逐層寫下「看到了什麼」。例如新版已出現在來源清單但不在索引,交資料維運。索引有兩版卻沒有購買日期篩選,交搜尋設計。核准人無法說清生效條件,就回到產品或制度所有人。用案件追蹤問題,比召開一場所有部門都要參加的「資料品質會議」更快找出哪一件事得先做。
微軟的檢索增強生成設計指南把資料管線、檢索和評估納入整體設計。本文把端到端答案拆成來源、入庫、候選片段與最終回答,以便把缺陷交給有能力修正的角色。 Microsoft Learn 原始說明
生效日、上傳日和交易日是三個欄位
文件八月才上傳,規則可能七月已生效,也可能明年才開始適用。系統若以最後修改日期自動挑最新版,會把「最近修正錯字」誤認為「最新規則」。至少要區分文件識別碼、規則版本、核准狀態、生效起訖、適用商品或據點,以及負責窗口。涉及個別交易時,還要有足以判斷適用性的事件日期,如出貨日或啟用日。採哪一種日期須以實際規則為準。
文件版本與規則版本也未必一起變動。改排版或補充例句,可以更新檔案且沿用原有規則。改保固年限則要產生新的規則識別,並附舊客戶是否沿用的說明。若把每次編輯都當成新政策,很快就沒有人知道哪些差異會改變答案。把變更分為文字修正、說明補充、適用條件調整與停止使用,能讓維運人決定要重跑幾種測試。
現行、預告、歷史與撤銷也要分開。歷史版可能仍對舊訂單有效,撤銷版則可能因錯誤起草、從未生效。前者需要能依交易日期查到,後者通常應自一般問答範圍移除,但依公司保存原則留下更正紀錄。這種分類比「舊檔全部封存」更實用。若確定答案必須引用個別合約,知識庫只能指出判讀路徑,最終仍交有權查合約的人。
誰負責更新,誰有權讓錯的答案消失
產品或制度負責人決定規則意思與生效條件,文件管理者維護標題、版本與適用欄位,系統人員確保資料更新傳到檢索端,使用部門用第一線問題驗收結果。這四個責任可以由較少的人兼任,但不能只留一句「資訊部負責知識庫」。資訊部可以確定檔案已送入索引,無法自行決定六月買的客戶能否多一年保固。
更新應由業務事件觸發。新品上市、跨區經銷範圍改變、條款撤回、客服收到互相矛盾的答案,應有不同的處理時限。不要為全部文件硬安排相同的每月重審。高影響而常變的規則需事件觸發並補定期抽查。穩定的操作文件可用較長週期。若負責人離職,文件管理者應能查到替代職務窗口,否則每一次資料盤點都會找到許多早已沒人能簽名的檔案。
撤回文件後要檢查衍生物。原始檔不見了,向量索引中的片段、搜尋快取、轉出的摘要或已標成最佳答案的問答仍可能存在。用文件識別碼追蹤哪些衍生物需要重新建索引或停用,再用原本能問出舊答案的題目實際查一次。若客服曾將它複製成對外範本,還需通知範本負責人。刪除作業與更正對客戶的說法是不同工作,兩邊都應有人收尾。
從引用正確率往回追,才知道錢該花在哪裡
假設 50 題測試都有已確認的適用文件。檢索階段有 40 題的候選片段包含足以判斷的正確資料,其中 34 題最後回答也適用。以這批題來看,找回比例為 40/50,找回後答對為 34/40,端到端有正確依據且答對為 34/50。三個分母指向不同的改善工作。若將三種分數都叫作「AI 準確率」,主管可能把預算投給句子潤飾,而漏掉十題連正確資料都沒找到。
另留一組本來就不應回答的題:購買日期不詳、產品沒有序號、地區不在授權範圍。這些題目的成功表現是正確追問、合理拒答或轉人工,不該和有標準答案的 50 題混成一個比例。測試資料還要變換問法,有人說「舊款電控盒」,有人只說「去年換過的那顆」。適用性正確、搜尋得到、使用者問得出來,三件事需要各自驗證。
刪檔以前,先回答舊客戶明天來問怎麼辦
有些檔案已過期,對新交易不再適用,卻是解釋過去承諾的唯一依據。可以把查詢分成現行預設、歷史追溯與內部更正三種用途。現行預設只取當期有效規則,歷史查詢先取得交易日期與產品條件,再開啟對應版本。更正區保留曾出錯的資料及處理紀錄,供有權角色重建原因。實際保存年限和存取條件按公司的規則與適用要求另定。
評估是否淘汰一份文件時,別只看閱讀次數。每年只讀一次的保養週期說明可能仍有效,熱門促銷話術即使被查過上千次,一到活動結束就應離開現行範圍。可以列出文件的內容負責人、最後一次有效性確認、依賴它的工作和替代來源。當負責人確認新文件完全涵蓋舊內容,再用幾個歷史與當期問題量測移轉成效。若舊版還承載未遷移的例外,不宜只為減少檔案數量就先移除。
一份文件裡可能有不同效期的章節。例如保固年限更新了,維修寄送地址卻沿用到月底。文件層級的生效日不足以一次回答兩個問題,可拆成不同主題片段,保留共同文件識別與各自的適用條件。拆分後要檢查表格抬頭、註腳與除外條款是否跟著正確段落走。讀者查到「可免費維修」卻沒看到同頁下方的資格限制,是資料切割品質問題。
用一場編審會,處理兩份都說自己最新的文件
把衝突的兩段文字、核准來源和實際問題放在同一張決策紙上。先確認它們是否真的衝突:一份可能談購買日,一份談出貨日。一份適用代理商,一份適用直營。若只是適用條件不同,新增辨識欄位與澄清問句即可。若確實對同一客戶、同一期間作出兩個承諾,就要請負責人決定正式解釋與既有案件如何處理。在裁定前,知識助理可以協助收集必要資料,不宜自行選一份比較新的文件。
決議後由不同角色各驗一件事。內容所有人核對文字精確,文件管理者確認生效範圍,搜尋維運者證明查得到新版本且舊版本在適當範圍消失,客服用客戶口語提問並檢查引用。若其中一項未過,記錄是來源錯誤、索引延遲、權限設定或回答省略條件。分清失敗環節,才能避免每改一次條款都將全套系統推翻重做。
第一週別期待一次清完所有舊檔。找出近一個月最常被申訴或最常問到的十個問題,逐題追到它依賴的文件,從答案倒推修資料。這能先改善直接影響客戶的錯誤。之後再安排低頻文件的責任確認,並追蹤新進文件是否在入庫時就帶有所有人和適用條件。單靠年終大掃除,會在下個月再次積累未分類內容。
權限也可能被誤認為「搜尋不好」
總公司產品經理問得到正確條款,門市兼職同仁問不到。原因可能是兼職同仁本來沒有權限看個別合約,也可能是組織調整後少了必要的公開產品資料。請兩個角色用同一題測試,核對應該看見的範圍。若屬合理權限限制,可以提供不涉及受限內容的標準說明或轉交窗口。若屬誤設,則由權限管理者修正。不可因要求提高搜尋命中率,就讓所有人看見整份合約。
引用連結也要用一線帳號打開。有時模型能讀資料,員工卻無權進來源頁,無法查證答案。有時文件連結對所有人可見,但內容裡仍含不適宜擴散的附件。驗收時請實際執行該職務的人從答案走到來源,確認能看見支撐該句話的部分,以及有問題時知道去哪裡回報。這個短測試常能同時抓到權限、版本與引用粒度的問題。
最後建立回報閉環。客服點選「答案有誤」後,應能帶回案件、原問句、引用版本和錯誤類型。處理人有責任回覆是否修正、何時生效、是否需要通知用過舊答案的人。若回報只進沒人查看的信箱,員工會很快改回問資深同事。知識庫真正值得投資的時刻,是員工在下一次遇到同類問題時,願意再次回來查,並且能看懂哪份答案算數。
用五道題驗證同一個版本切換
以下將六月底與七月初視為合成產品的兩種保固期間,假設規則以出貨日為準,六月及以前適用 A 版一年,七月起適用 B 版兩年。所有題目只問適用哪份文件,不判定某件商品今天一定可以免費維修。表內以假設的日期與文件名稱演示版本測試。
| 題目 | 能確認的事件 | 預期引用或動作 | 須攔下的捷徑 |
|---|---|---|---|
| 六月買的,六月出貨 | 出貨日六月十五日 | 引用 A 版,說明一年 | 拿最新 B 版回答所有客戶 |
| 六月下單,七月出貨 | 出貨日七月二日 | 引用 B 版,說明兩年 | 以訂購日誤判為 A 版 |
| 客戶只記得暑假買 | 事件日期未確認 | 追問可查證出貨資訊 | 從模糊詞猜測適用 B 版 |
| 同名舊產品的海外版 | 產品區域不在兩版範圍 | 轉對應服務窗口 | 套用國內產品條款 |
| 已撤銷的促銷三年承諾 | 文件曾上傳但未生效 | 從一般問答排除,依交易個案核對 | 以舊快取繼續回答三年 |
比舊版有沒有被刪除,更重要的是還查不查得到
若公司為避免舊內容誤用而把 A 全部移出檢索,這筆歷史交易反而無法正確處理。可以讓現行檢索有預設,另保留受控的歷史查詢,查到交易時間後再選擇資料。
相近日期刻意放在分界的兩側
一般測試資料常讓下單與出貨在同一天,錯用了欄位也能通過。這題刻意把兩件事放在版本邊界兩側,才能判斷系統是否真的使用規則指定日期。若公司條件其實按購買日,則應改題目和標準答案,不能沿用示例。
資料不足本身就是一個標準答案
理想回覆可以指引客戶從出貨通知或正式單據找日期,也可提供授權客服查詢管道。若只說「無法回答」卻沒有下一步,風險雖下降,客服仍須重新詢問一次。可以同時評估是否避免錯答,以及有沒有提出最少而必要的追問。
加入一題完全不該命中,避免只會在兩版間硬選
檢索引擎可能總能回傳最接近的一份資料,但最接近不等於足以決定個案。將產品區域做為適用條件,找不到可信來源時提供可受理的窗口。不要只因文件標題相似便替海外經銷商承諾權益。
撤回要驗到最後一個使用端
請第一線從原本最容易得到舊承諾的常見問句重試,並核對常用話術、快取與已建立的精選答案。若客戶拿得出先前正式書面承諾,應交有權者依個案查證,不能由問答系統自行宣告先前承諾不存在。
這批題要與版本決議綁在一起。以後若保固政策再變,保留當次測試結果,新增新條件而非覆寫所有歷史答案。這讓維護人能區分一個舊答案現在仍對特定交易有效,還是當時就不應該被回答。

英國政府內容發布指引區分將過時內容標為撤回,以及將內容下架。公司實際的歷史交易仍要依自己的權利與保存規則處理,這裡借用的是「不同退出狀態應有不同查詢行為」的判斷。 UK Government Digital Service 原始說明
換成內部差旅制度,正確答案要能隨身分改變
假設一名同仁問「星期日出差能不能補休」,另一名同仁用幾乎相同的問句詢問海外派駐期間的安排。這裡不討論任何具體勞動法判定,而是看知識系統怎麼辨識制度適用範圍。公司可能有一般差旅、派駐方案、不同地區的內部規範和個別核定文件。若知識庫只按「星期日、出差、補休」檢索,找到的一段內規可能真實,卻未必足以裁定該同仁的情況。
先讓人資定義助理可以回答的層級。它可以解釋一般申請入口、需要哪些資料和何時找人資。涉及個別契約、法域或身分資格時,改為提醒需由權責窗口查證。這個界線應反映在標準問答與測試題,而非只在文件底部加一行籠統說明。對一般程序能回答得具體,對個案能精準問出缺少什麼,兩種表現都屬良好服務。
文件更新時要把未來生效的政策從現行政策分開。假設人資十二月公告次年一月啟用的新申請流程。十二月來問「我今天要去哪裡申請」的人,應得到仍有效的現行入口。問「下個月新的表單何時開」的人,可引用已公告的預告文件。兩題都包含最新政策的關鍵字,正確結果不同。用這種未來日期問題測試,才能找出系統是否把上傳較晚的文件一律當成已生效。
制度撤回或修正也要考慮已經提出的申請。某個入口對新案停用,不等於已送件的員工都應重新申請。知識管理人員應在來源說清楚既有案件的處理方式,或提供有權查詢的窗口。若沒有正式裁定,就不要讓系統為了回答完整,自行推論每個人都要從頭來過。管理者能在這些小問題中看見整個知識治理的成熟度:答錯的代價往往是大量重工與員工信任流失。
搜尋與回答要分開看,文件切割才有改善方向
拿一份含表格與註腳的制度文件試驗。檢查擷取後是否仍看得出哪一欄是國內、哪一欄是海外,註腳中的資格限制是否留在同一個可引用範圍。若切成許多短段落,每段文字都清楚,條件卻可能與數字分離。可以保留標題路徑、文件識別、生效條件與表格欄名,再依實際問句驗證。切多長沒有一個適用於所有制度的固定答案。
檢索評估可先忽略模型文字,只請評審看回傳的幾段資料,判斷是否足以回答。若資料不足,即使模型憑常識答對一次,也不應記作可靠成功。若資料完整,卻總在轉述時漏掉限制,就優先修回答方式和引用要求。這種拆分能讓內容團隊與技術團隊討論同一組證據,避免每次都在「是不是模型不好」與「是不是文件沒整理」之間來回推責。
評審的參考答案也有版本。如果制度新規通過,但測試題仍用舊答案打分,真正正確的更新反而會得低分。讓每個測試題連到適用規則版本與評審時間,追蹤因政策異動而更新的題目。同時保留舊交易仍需使用的歷史題。這個小小的版本關聯,能讓主管在看月報時分清是系統變差、制度變了,還是評量尺落後。
決定哪些文件值得投入整理工時
假設團隊這個月只抽得出兩天整理資料,優先順序可看問錯後果、實際問句頻率、版本衝突程度和來源是否有負責人。有責任人、常被問、錯了會造成對外承諾的文件,適合先做成可驗收範圍。高影響但規則目前仍在討論的題,先提供人工窗口並記錄待裁定,未必要等模型可直接回答才算有所改善。低頻、低影響且規則穩定者則可延後整理。
避免把責任全放給最熱心的知識管理人員。他可以追蹤缺少的所有人與到期日,無權替業務核定產品承諾,也不該替人資裁定個案資格。當一份文件沒人願意簽,應把它列成營運決策待辦,不應因為系統急著上線就把它升格為權威資料。資料量再大,能支持明確工作判斷的文件相對有限,值得付出編審工時的就是這一群。
把一份文件送進知識庫前,用六個問題檢查它是否能支撐回答
每一列填一份能被識別的文件或規則片段。發布人、來源維護者和提問者可依同一張卡討論,不需要每個角色都會調整搜尋系統。若任一項不明,先記錄能安全回答的範圍,將需裁定的問題送回權責人。
權威依據:誰能核准這份規則,又有哪些資料只供參考?
將正式政策、內部草稿、訓練材料與客服個人備忘區分,回到公司指定來源確認。若資料互相牴觸,留下待決問題與窗口。
正式問答需要可採信的依據。兩份互有衝突的文件不能以哪一份被下載較多來裁定。
適用條件:文件對哪個地區、產品、角色或交易期間有效?
除上傳時間外,保留規則生效與終止、判定交易日期的欄位,以及個別合約或特例的轉交方式。
安排日期跨界、身分不同和資訊不足三種問題。答得出哪份適用,也能適時追問,才算條件可用。
擷取內容:資料進入檢索後,標題、關鍵數值和例外是否仍在一起?
比較原文件與實際索引片段,尤其留意跨頁表格、註腳與多欄排版。用來源識別碼記錄衍生內容。
即使模型輸出正確也要看是否找回足夠資料。若只是憑常識猜中,仍列為證據不足。
版本更新:新規生效時,哪一方更新來源,哪一方讓查詢端生效?
分別列核准、上傳、索引同步、抽樣驗證與前線通知。尚未生效的公告能被查到,但不可默認適用當下。
以生效前後各一件的對照題驗收。文件庫顯示上傳成功,只代表來源到站,未代表所有回答端都已更新。
淘汰撤回:舊規則是否仍適用舊交易,撤銷的內容還在哪裡被引用?
分成歷史、作廢、撤回及替代,檢查摘要、快取、範本和引用它的其他助理。對舊交易保有適當追溯。
用原本會問出錯誤答案的問題再查一次。仍有衍生內容時記確切位置與維護人,不能把刪原檔視為結案。
回報閉環:員工發現問題後,有誰告知已處理、怎麼知道修對?
帶回原問句、引用版本、工作身分與希望完成的任務。處理窗口回覆原因、修正日期、受影響範圍及驗證結果。
將前線問題加入題庫,但避免留存完整個資。下個月能用新案例預防同類失誤,才看得見維護的累積價值。
當知識庫開始引用自己,怎麼辨認答案正在繞圈
有些團隊為了讓常見問題回答更快,將助理產生的摘要再存回知識庫。若摘要已經過權責人核准、附清楚的來源與適用期間,可以成為使用方便的說明材料。若只是因為員工按了一次讚就被升為正式答案,幾次引用後可能只剩摘要引摘要,沒有人能指出最初是哪一份文件支持這項承諾。知識庫應知道哪些是原始規則,哪些是方便閱讀的二次整理,以及後者何時要跟著原件更新。
以促銷保固為例,客服曾寫過一句「本季購買可享延長服務」,當時上下文有活動期間、限定型號和需完成登錄的條件。若只把這句收錄成獨立問答,員工下個季度仍可能查到它。補救方式不是禁止所有摘要,而是連回活動識別、生效與終止日期、受限活動條件。原活動終止時,一次找出仍引用它的答案,重新檢查哪些要停用、哪些仍需保留舊客戶服務。這是知識關係與版本管理交會的地方。
遇到來源已刪、引用鏈中斷的答案,可先移至待查,不讓它繼續面向所有角色。請內容負責人根據公司正式文件重新核准或撤回,再用原有問句重新測試。若來源消失的原因是資料使用限制改變,應先請權責人確認還能保留哪些材料,不宜只因舊答案寫得好就繼續公開。文件治理的目標包括知道哪些內容應退出,這件事和持續新增同樣重要。
主管在月會該看哪些數字
第一個是有明確依據的合格回答數,分母是有足夠資訊、預期可回答的題。第二個是應追問或應轉人的案例,是否依規則處理。第三個是從核准更新到前線能查到正確內容的時間。第四個是新回報中有多少源於尚無正式政策。最後一類不能全算成技術失敗,卻值得列在經營會議,因為它顯示前線正在承接公司尚未說清楚的責任。
另一個可以抽查的指標是「證據可開啟」。即使回答正確,若引用連結指到無權閱讀的位置,員工仍無法查證。可在相同測試中記錄不同角色是否能打開來源、是否能定位到支持答案的段落。若內容敏感不應直接開放,可改為顯示核准摘要與可受理窗口。不要只為得到漂亮的引用成功率就向所有人開全文,數字服務於正確工作,而非反過來。
資料量成長也需要解讀。若文件數變少,是合併了重複副本、撤出已作廢資料並整理適用條件,那可能是改善。若成長來自持續加入新的完整產品規則,也可能有充分價值。用問句覆蓋、可查證、可維護與過時答案清除的速度來解讀規模,遠比宣稱系統已累積多少萬字更能支援下一筆維護預算。
讓更新變成日常工作的一部分
試著將每次公司公告的結案條件多加一項:誰負責讓相關問答和引用在生效後真正反映新規則。產品上市由產品經理提供正式說明,客服列出客戶可能問的口語問題,文件管理者指派有效版本,資訊確認可被搜尋。當中某一環節尚未就緒,就先保留現行可回答範圍,對有疑問的部分提供人工處理,不讓新版在準備不齊時自動成為唯一權威。
最後拿起開場那位六月購買的客戶。客服能否找出適用版本、說明原因、提供可回查的文件,並在交易日期不明時提出精準追問?如果可以,公司留下的便是一項能被下一位客服重複使用的服務能力。如果還做不到,下一次會議要找的可能是產品負責人、文件管理者或索引維護人,其中哪一位,不必再憑直覺猜。
延伸閱讀與企業實作
新人一直問、老員工反覆教:企業該先整理 SOP,還是建立 AI 知識庫?
準備兩份曾讓員工引用錯版本的文件,與天地人討論知識庫維護與提問驗收。 企業內訓與實作安排
本文由 TARAISG(TIANDIREN AI SOLUTION GROUP)使用 AI 模型產生正文、整理來源並設計實務工具。方法依據與限制列於文末;案例為明確標示的教學假設。未有具名紀錄時,不宣稱經人工或專家審核。
查看內容製作與更正說明