跳至主要內容
CHINZYSUPER INTELLIGENCE INFRASTRUCTURE
控制檯 ↗

CHINZY / 採購指南

FDE 與 AI 智慧體專案驗收清單

用同一組樣本、明確的系統邊界和可複查的記錄,評估 AI 專案是否達到約定目標。可將本清單作為需求討論的起點。

CHINZY 編寫 · 更新於

適用對象

供業務負責人、資訊化團隊和採購人員共同定義試點驗收。

下載知識庫驗收表(CSV,6 個示例用例) ↓

01

怎麼用這張知識庫驗收表?

下載表格,先把示例資料換成已授權的測試文件,填好版本、角色和通過門檻,再讓候選系統回答同一批問題。例如,授權人員應能引用新版手冊;無許可權人員提同一個問題時,不應得到原文或受限內容。兩次請求分別留證,不能把拒答一律記為錯誤。

  • 輸入:固定語料版本、測試賬號和問題。
  • 證據:儲存答案、原文位置或拒答原因,註明複核人。
  • 結果:記錄通過數與實際測試數;表中示例不代表 CHINZY 的實測成績。
02

RAG 盲測:引用合格率的分母是什麼?

上海大學的一份採購公告將檢索命中、引用是否定位到支撐結論的原文、無答案時能否拒答分開驗收。下面是 CHINZY 根據這一採購問題編寫的虛構練習,與該校及任何供應商的實測結果無關。先固定兩道有答案題的一共四條應引用表述,另留一道資料不足的題,然後讓兩家候選方作答。

  • 檢索:看前五個結果裡有沒有標準證據,按有答案的題數計算。虛構答卷 A、B 都是 2/2。
  • 引用:按應引用的表述數計算。A 有三條位置正確且原文支持,得 3/4;B 有兩條合格、一條沒引、一條引用舊版無關段落,得 2/4。漏引仍計入分母。
  • 無答案題:資料未寫退款期限。A 明確拒答,得 1/1;B 編出天數,得 0/1。小樣本用於校準複核人,不能據此推斷線上效果。

下載離線評分表(含原文、兩份答卷和 CSV 匯出) ↓

03

業務結果與評測樣本

記錄原流程的耗時和錯誤型別。將樣本分成常見、邊界與失敗三類,固定輸入和評分方法,保留一部分未參與除錯的樣本用於驗收。

  • 需先定義哪些業務條件代表任務完成,不能只看 HTTP 200。
  • 分別記錄模型錯誤、資料錯誤和介面失敗。
  • 比較人工複核時間與完整任務成本。
04

許可權與可靠性

驗證跨部門訪問、過期賬號、重複請求、網路中斷與模型超時。高風險操作要有確認步驟,失敗狀態要可見,重試應避免重複寫入。

對照同一編號重試的三組實測 →

05

交接與持續執行

確認執行環境、依賴版本、部署步驟、監控、日誌留存、備份與回滾。明確哪些費用隨用量變化,模型或文件更新後如何重新評測。

06

驗收記錄模板

建議每條記錄包含:任務編號、樣本版本、預期結果、實際結果、證據連結、審查人員、測試日期、通過條件及未解決問題。閾值由專案約定,不能用通用準確率替代業務標準。

開始前的常見問題

應該要求 100% 準確嗎?

先區分任務風險與評測範圍。無法保證的回答要允許拒答或轉人工;對關鍵規則和許可權隔離應設定明確不可違反的驗收條件。

公開參考資料

用對照樣例驗證方案

使用兩個測試身份和帶虛構標記的文件。先列出誰應看到哪些欄位,再分別檢查回答、下載、匯出及快取;僅記錄合成證據。

知識庫許可權與資料生命週期 ↗

專案諮詢

把任務整理成明確的專案需求。

先以遠端會議確認需求與資料。現場勘查、駐點、設備展示、培訓與售後支援,依城市、人力和資源另行確認,寫入書面方案。

草稿會留在目前的分頁。可到聯絡表單確認後送出,也可用電郵或電話聯絡。請勿填寫敏感資料。

接下來的諮詢

傳送專案洽詢 ↗

先描述一項具體任務,再討論範圍、所需資料與下一步。

19926595479 ↗

ceo@oneonetalk.com ↗