Ficha de avaliação cega de RAG

CHINZY · 2026-11-10 · Documentos e respostas fictícios para calibrar avaliadores. A ficha funciona offline e não transmite dados.

Fixe as fontes

D2 · Manual vigente

D1 p1 §1 · Manual anterior — Antes o departamento de compras recebia os pedidos.

Os documentos não dão prazo de reembolso. Ambos recebem as mesmas fontes e perguntas.

Compare as duas respostas

Q1 · Quando registrar e o que anexar?

Resultados recuperados A, B: D2 p2 §1, D2 p2 §2.

A: Registrar em 48 horas [D2 p2 §1]. Incluir o número do chamado [D2 p2 §2].

B: Registrar em 48 horas [D2 p2 §1]. Incluir o número do chamado.

Q2 · Onde entregar e o que guardar?

Resultados recuperados A: D2 p3 §1, D2 p3 §2. B: D2 p3 §1, D1 p1 §1.

A: Entregar ao atendimento [D2 p3 §1]. Guardar o comprovante.

B: Entregar ao atendimento [D2 p3 §1]. Guardar o comprovante [D1 p1 §1].

Q3 · Quanto demora o reembolso?

A: O manual não indica prazo. Não posso informar um número de dias.

B: Sete dias.

Avalie cada item

Recuperação: pelo menos uma fonte válida nos cinco primeiros resultados de cada pergunta. Citações: cada afirmação prevista deve apontar a passagem que a sustenta. A ausência de citação conta como falha. Marque pendente se ainda não verificou. Avalie a abstenção à parte.

Recuperação / Citações / Abstenção — A: 2/2 · 3/4 · 1/1. B: 2/2 · 2/4 · 0/1.

No piloto real, combine antes as fontes autorizadas, afirmações, versões e limites. Guarde as respostas originais para revisão.