CHINZY / 購入ガイド
FDE・AI エージェント開発の受入試験チェックリスト
共通のテストデータを使い、対象範囲を決め、後から確認できる記録を残します。このチェックリストを基に、業務担当者と受入条件をすり合わせてください。
CHINZY 編 · 更新日:
パイロット受入を定義する事業主、IT チーム、調達チーム向け。
知識ベース受入シートをダウンロード(CSV、6 つのサンプルテスト) ↓
ナレッジベースの受入試験表はどう使う?
試験表をダウンロードし、例文を利用許可のあるテスト文書に置き換えます。各社に同じ質問を出す前に、文書の版、アカウントの権限、合格条件を決めます。閲覧権限のある利用者には最新版の該当箇所が示され、権限のない利用者には同じ質問でも制限対象の本文が表示されないことを確かめます。回答の根拠がない場合、適切な回答保留は合格とし、判定の証拠を残します。
- 入力:コーパスバージョン、テストアカウント、質問を修正します。
- 記録するものは回答、原文の位置または回答を控えた理由、確認した担当者です。
- 結果:パス数と総実行数を記録します。サンプルは CHINZY パフォーマンス結果ではありません。
RAG のブラインドテストで引用の合格率をどう計算する?
上海大学の調達公告では、正しい資料を検索できたか、個々の主張を裏付ける箇所を引用したか、根拠がないときに回答を控えたかを別々に評価しています。以下は CHINZY が作成した架空の資料と回答を使う練習で、大学や実際のベンダーの成績ではありません。回答できる 2 問に含まれる引用必須の記述 4 件と、資料からは回答できない 1 問を先に固定してから各社を比較します。
- 検索では、回答可能な各設問について、正解を裏付ける箇所が検索結果の上位 5 件に含まれるかを確認します。架空の回答例 A と B はいずれも 2/2 です。
- 引用:根拠が必要な記述をすべて分母に入れ、参照位置が正しく、原文も内容を裏付けている記述だけを分子に数えます。A は 3/4。B は正しい引用が 2 件、引用漏れが 1 件、無関係な旧版の引用が 1 件で 2/4 です。引用漏れを分母から外さないでください。
- 回答保留の例です。資料には返金期限がありません。A は根拠がないため期限を示さず合格(1/1)、B は日数を作り出したため不合格(0/1)です。少数の例題は採点の基準合わせに使います。実運用の精度を推定するには別の評価が必要です。
ビジネス成果と評価サンプル
ベースラインの継続時間とエラーカテゴリを記録します。サンプルを共通ケース、エッジケース、および失敗ケースに分割し、入力と採点ルールを修正し、未見のサンプルを受入のために留保します。
- HTTP 200 が返ったかどうかに加えて、業務上何が完了すれば成功かを定義します。
- モデルエラー、ソースエラー、およびインターフェース障害を区別します。
- 人間レビュー時間と総タスクコストを比較する。
アクセス権限と信頼性
部門間アクセス、期限切れアカウント、重複リクエスト、ネットワーク障害、モデルタイムアウトをテストする。高リスク操作には確認を、明確な失敗表示と重複書き込みのない再試行を要求する。
引き継ぎと継続運用
環境、依存関係バージョン、デプロイ手順、監視、ログ保持期間、バックアップ、ロールバックを確認する。モデルまたはドキュメント更新後の使用量ベースのコストと再評価手順を特定する。
受入記録テンプレート
各テストについて、タスク ID、サンプルバージョン、期待結果と実際結果、証拠リンク、レビュアー、日付、合格基準、未解決問題を記録する。タスク全体の閾値を合意し、汎用的な精度主張で代用しない。
始める前に
正答率 100% を要求すべきですか?
試験範囲と、実際に誤ったときの影響を個別に評価します。根拠のない質問は回答を保留するか担当者へ引き継ぎ、重要な業務規則やアクセス権限には必須の合格条件を設けます。
公開資料
想定範囲の検証
試験用の二つの利用者と架空マーカーを使う。閲覧可能項目を先に決め、回答・ダウンロード・出力・キャッシュを確認し、架空の証跡のみ保存する。
アクセス権と文書のライフサイクル ↗プロジェクトの相談
依頼したい業務を整理する
まずオンラインで要件と資料を確認します。現地調査、常駐、機器実演、研修、保守の範囲は人員・機材の手配を確認して書面で合意します。