RAG ブラインド評価シート
CHINZY · 2026-11-10 · 架空の文書・答卷で採点者の基準を合わせます。オフラインで動作し、評価は送信されません。
資料の版を固定
D2 · 現行手引き- p2 §1 — 48時間以内に登録
- p2 §2 — チケット番号を添付
- p3 §1 — サービス窓口へ提出
- p3 §2 — 受領証を保管
D1 p1 §1 · 旧版 — 旧版では購買部が受け取っていました。
どちらの版にも返金期限はありません。両者に同じ資料・質問を渡します。
2組の回答を照合
Q1 · いつ登録し、何を添付しますか。
検索結果 A, B: D2 p2 §1, D2 p2 §2.
A: 48時間以内に登録 [D2 p2 §1]. チケット番号を添付 [D2 p2 §2].
B: 48時間以内に登録 [D2 p2 §1]. チケット番号を添付.
Q2 · どこに提出し、何を保管しますか。
検索結果 A: D2 p3 §1, D2 p3 §2. B: D2 p3 §1, D1 p1 §1.
A: サービス窓口へ提出 [D2 p3 §1]. 受領証を保管.
B: サービス窓口へ提出 [D2 p3 §1]. 受領証を保管 [D1 p1 §1].
Q3 · 返金まで何日ですか。
A: 手引きに期限の記載がなく、日数を答えられません。
B: 7日です。
項目ごとに採点
検索は質問ごとに上位5件に正しい根拠が1件以上あれば合格。引用は事前指定した主張ごとに場所と裏付けを照合し、引用漏れは不合格です。未確認は未評価とし、回答保留は別に採点します。
検索 / 引用 / 回答保留 — A: 2/2 · 3/4 · 1/1. B: 2/2 · 2/4 · 0/1.
実際の試行では許可資料、検証する主張、版、しきい値を先に決め、確認用の元回答を保存します。