CHINZY / 採購指南
FDE 與 AI 智慧體專案驗收清單
用同一組樣本、明確的系統邊界和可複查的記錄,評估 AI 專案是否達到約定目標。可將本清單作為需求討論的起點。
CHINZY 編寫 · 更新於
供業務負責人、資訊化團隊和採購人員共同定義試點驗收。
怎麼用這張知識庫驗收表?
下載表格,先把示例資料換成已授權的測試文件,填好版本、角色和通過門檻,再讓候選系統回答同一批問題。例如,授權人員應能引用新版手冊;無許可權人員提同一個問題時,不應得到原文或受限內容。兩次請求分別留證,不能把拒答一律記為錯誤。
- 輸入:固定語料版本、測試賬號和問題。
- 證據:儲存答案、原文位置或拒答原因,註明複核人。
- 結果:記錄通過數與實際測試數;表中示例不代表 CHINZY 的實測成績。
RAG 盲測:引用合格率的分母是什麼?
上海大學的一份採購公告將檢索命中、引用是否定位到支撐結論的原文、無答案時能否拒答分開驗收。下面是 CHINZY 根據這一採購問題編寫的虛構練習,與該校及任何供應商的實測結果無關。先固定兩道有答案題的一共四條應引用表述,另留一道資料不足的題,然後讓兩家候選方作答。
- 檢索:看前五個結果裡有沒有標準證據,按有答案的題數計算。虛構答卷 A、B 都是 2/2。
- 引用:按應引用的表述數計算。A 有三條位置正確且原文支持,得 3/4;B 有兩條合格、一條沒引、一條引用舊版無關段落,得 2/4。漏引仍計入分母。
- 無答案題:資料未寫退款期限。A 明確拒答,得 1/1;B 編出天數,得 0/1。小樣本用於校準複核人,不能據此推斷線上效果。
業務結果與評測樣本
記錄原流程的耗時和錯誤型別。將樣本分成常見、邊界與失敗三類,固定輸入和評分方法,保留一部分未參與除錯的樣本用於驗收。
- 需先定義哪些業務條件代表任務完成,不能只看 HTTP 200。
- 分別記錄模型錯誤、資料錯誤和介面失敗。
- 比較人工複核時間與完整任務成本。
許可權與可靠性
驗證跨部門訪問、過期賬號、重複請求、網路中斷與模型超時。高風險操作要有確認步驟,失敗狀態要可見,重試應避免重複寫入。
交接與持續執行
確認執行環境、依賴版本、部署步驟、監控、日誌留存、備份與回滾。明確哪些費用隨用量變化,模型或文件更新後如何重新評測。
驗收記錄模板
建議每條記錄包含:任務編號、樣本版本、預期結果、實際結果、證據連結、審查人員、測試日期、通過條件及未解決問題。閾值由專案約定,不能用通用準確率替代業務標準。
開始前的常見問題
應該要求 100% 準確嗎?
先區分任務風險與評測範圍。無法保證的回答要允許拒答或轉人工;對關鍵規則和許可權隔離應設定明確不可違反的驗收條件。
公開參考資料
用對照樣例驗證方案
使用兩個測試身份和帶虛構標記的文件。先列出誰應看到哪些欄位,再分別檢查回答、下載、匯出及快取;僅記錄合成證據。
知識庫許可權與資料生命週期 ↗專案諮詢
把任務整理成明確的專案需求。
先以遠端會議確認需求與資料。現場勘查、駐點、設備展示、培訓與售後支援,依城市、人力和資源另行確認,寫入書面方案。