AI 工作實務 · 虛構資料集＋逐題故障診斷
RAG 有引用仍答錯？用 12 道測試題定位檢索與生成問題
建立黃金文件與題集，分開核對檢索、答案支持、引註匹配、無答案拒答
企業把 PDF 放進知識庫，AI 回答後面也出現文件標題，客服卻發現答案根本不是該份文件的規則。該換 Embedding 模型、把 PDF 切得更小，還是改 Prompt？在沒有測試題與來源標準答案前，三種做法都只是猜測。
RAG（Retrieval-Augmented Generation，檢索增強生成）需要分開驗收兩件事：找回了可支持答案的內容，以及生成的每項說法確實受到該內容支持。 最後還須檢查是否答到提問重點與無答案時能否拒答。Microsoft 的 RAG 評估文件將檢索階段與生成回覆階段分開，列出 Retrieval、Document Retrieval、Groundedness、Relevance 和 Completeness 等不同評估面向。S01
本文附上 5 份完全虛構的內部文件片段、12 道有預期結果的問答資料，以及逐題錯誤分類空白表。這不是某個 RAG 系統的真實測評；是可供團隊建立第一版題集的示範。
為何有引用，仍可能錯？
想像使用者問：「P1 工單要求 2 小時內處理完畢嗎？」教學文件 D04 的原句是「P1 工單回覆目標為 2 小時，此為首次回覆目標，不是完成時限」。如果系統取到了 D04，卻回答「2 小時內必須解決」，就是檢索命中、生成失真；即使文末引用 D04 也不能算通過。反過來，如果系統檢索到的是差旅餐費文件 D02，就要先改善檢索，單靠 Prompt 叫模型「精準回答」沒有依據。
Microsoft 的架構指南提到 Precision@K、Recall@K 和 MRR 等資訊檢索衡量方式：Precision@K 看前 K 筆結果裡相關內容的比例，Recall@K 看全部相關內容有多少落在前 K 筆，MRR 關心第一筆相關結果的排序。S02 但若題集沒有先標示「哪段文件支持哪個答案」，就無從可靠地計算這些指標。模型自行說自己找到證據，不等於標準答案。
學術研究也指出必須把不同評估維度分開。Es 等人 2024 年發表於 EACL 的 RAGAs 論文，將「檢索內容能否找出相關資訊」、「生成是否忠於所給內容」及「最終答覆品質」視為不同評估問題。S04 這是方法論佐證，並非本文 12 題案例的獨立實測，也不表示任何單一自動評估分數足以取代人工審閱。
教學題庫：五份片段，十二道檢查題
下載 toy_documents.csv 與 rag_eval_cases.csv。文件 D01 到 D05 並非真實公司規章：
| 文件 ID | 教學片段唯一要點 | 可追溯的答案界線 |
|---|---|---|
| D01 | 跨縣市出差，須提前 3 個工作日取得主管書面同意 | 不能推論國外出差規則 |
| D02 | 差旅餐費每日上限 NT$600，需留憑證 | 不能推論住宿額度 |
| D03 | 預計連休 3 日（含）以上，需提前 5 個工作日提出 | 不能推論特休餘額 |
| D04 | P1 工單首次回覆目標 2 小時，不是結案時限 | 不能寫成 2 小時解決 |
| D05 | 匯出客戶資料須先取得資料擁有人核准，記錄用途及保存期限 | 不能推論可分享的外部對象 |
在 12 題中，Q01 到 Q09 是可回答題，Q10 到 Q12 是文件根本沒有答案的題。每列保留提問、預期文件 ID、被檢索到的文件 ID、示範回答、示範引用及錯誤標籤，這樣評測才有可複查的資料單位。本文故意設計錯誤示例，用來練習判讀，不要將示範回答當作模型實測。
用題目 Q04 解釋：問的是 P1 工單首次回覆目標，標準證據 D04；模擬檢索結果卻只有 D02。此時不應評為「模型胡說」就結束，而應先標記 retrieval_miss。Q05 則已檢索到 D05，卻編出不存在的外傳授權，應標記 unsupported_answer。Q07 的答句雖然與 D02 相符，引用卻指向 D01；需另外標記 wrong_citation，因為讀者無法循引註核對。
重新計算一個刻意簡化的診斷表
從教學 CSV 的標記可重做兩個最基本的比率：
- 正題的檢索命中率：9 道可回答題中，8 道示範檢索列表包含所需文件，得到 8÷9＝88.9%（四捨五入至 1 位小數）。這是本教材預先設計的命中比例，不是真實搜尋系統的 Recall@K，因為每題只設計一份必需文件，而且沒有完整相關性標註。
- 無答案題的拒答率：3 題無來源支持的問題中，2 題示範回覆選擇拒答，得到 2÷3＝66.7%。此比率只表示教材中哪幾筆示範選擇了拒答，既不是某模型的幻覺率，也不是企業驗收標準。
若要宣稱檢索的 Precision@5、Recall@5，必須有相同 K、每題完整的相關段落集合與查詢結果排序；不能把我們的「是否找到一份目標文件」直接換個指標名稱。Microsoft 的端到端 RAG 文件也提醒，生成回覆可能具有非決定性，評估設計不宜只倚賴單次輸出。S03
用「錯誤位置」決定修哪一層
| 觀察 | 首先看哪一層 | 合理的下一個試驗 | 不要直接下的結論 |
|---|---|---|---|
| 問題可回答，但相關文件沒回來 | 檢索 | 查文件是否入庫、權限、切分與關鍵字 | 一定要換模型 |
| 找到正確段落，答案卻擴大承諾 | 生成／限制 | 加入引用段落約束，要求可核對的細項 | 有引用就表示正確 |
| 答案對，引用指錯文件 | 引註映射 | 核對段落 ID 與回覆引用鏈 | 文末有來源就算通過 |
| 文件沒有答案，卻編出肯定句 | 拒答策略 | 設定資訊不足路徑、人工轉接 | 調高相似度門檻保證安全 |
| 語意對但漏答一半 | 完整度 | 拆出每項必答條件與覆蓋清單 | 只看相似度即可 |
這個「症狀→最先檢查的層」表是我們根據不同官方評估目的整理的編輯診斷推論，不是特定廠商提供的萬用調參配方。若權限錯誤導致不該見的文件被檢索出來，必須先依公司資料治理與權限作法停止測試，不可把安全問題當普通品質調參。
讓 12 道題變成公司自己的驗收資產
先由熟悉流程的文件擁有人，選出至少幾種性質不同的問題：能直接找答案、跨兩段才有答案、過期版本、否定問法，以及應拒答。每題記下 question_id、文件版本、必需段落 ID、是否應回答與驗收人。第二步固定同一個文件快照與提示詞版本，記錄實際檢索前 K 筆、回答與引註。第三步由人檢查重要答句有無超出來源，再統計依題型分開的結果。不要讓評分用模型代替最後的人類驗收。
遇到文件版本尚未決定、權限不一致、涉及個資或正式法律條款時，先建立決策負責人與清楚的核准範圍，不把虛構測試題直接替換成真實敏感資料。對公開知識檢索或企業導入原型，這份題庫是方法起點；正式部署還需實際資料、版本證據、權限與風險測試。
與已發布的Copilot／SharePoint 權限及文件版本檢查不同，本篇聚焦「給定可存取文件後，答案是否找對、說對、引對」。要先學習 Dify 知識庫、PDF 匯入與 RAG 基本串接，可以參考AI Agent 自動化實作課；其公開課綱包含 RAG，但未明列本文的評估題集與引註指標課程內容。
資料來源與方法
[S01] Microsoft Foundry：RAG 評估器概念，官方產品文件；支持「檢索與生成分開評估」，不支持把教學題庫視為真實測試。查閱：2026-10-20。
[S02] Microsoft Azure Architecture Center：資訊檢索評估階段，官方架構文件；定義 Precision@K、Recall@K、MRR 等方向。查閱：2026-10-20。
[S03] Microsoft Azure Architecture Center：端到端 LLM 評估階段，官方架構文件；介紹 groundedness、completeness 及非決定性限制。查閱：2026-10-20。
[S04] Es 等人（EACL 2024）：RAGAs: Automated Evaluation of Retrieval Augmented Generation，ACL Anthology 同行評閱會議論文；支持不同評估面向的區分，不證明本篇題庫結果。查閱：2026-10-20。
本篇文件、題目、回答與錯誤標籤全部是教學合成資料，比例由範例 CSV 依指定題型重算；無產品 API 呼叫、真實 AI 模型成效或企業機密文件。
帶回工作使用
下載教學資料與空白表
免費下載，不需留下聯絡資料。檔案內均為教學合成資料，請依實際工作條件調整。
本文由 TARAISG（TIANDIREN AI SOLUTION GROUP）使用 AI 模型產生正文、整理來源並設計實務工具。方法依據與限制列於文末；案例為明確標示的教學假設。未有具名紀錄時，不宣稱經人工或專家審核。
查看內容製作與更正說明
