CHINZY / Guia de compras
Lista de verificação para o aceite de projetos FDE e de agentes de IA
Avalie um projeto de IA com um conjunto de amostras consistente, limites do sistema claros e registros revisáveis. Utilize este checklist para iniciar uma discussão sobre requisitos.
CHINZY · Atualizado:
Para proprietários de negócios, equipes de TI e equipes de compras definindo a aceitação de pilotos.
Baixar a planilha de aceitação da base de conhecimento (CSV, com 6 testes de exemplo) ↓
Como usar a planilha de testes de aceitação da base de conhecimento?
Baixe a planilha e substitua os exemplos por documentos de teste autorizados. Defina as versões, papéis e limiares de aceitação antes de submeter as mesmas perguntas a cada candidato. Por exemplo, um leitor autorizado deve ser capaz de citar o manual atual; outro leitor fazendo a mesma pergunta não deve receber texto restrito. Mantenha evidências para cada execução e classifique uma recusa adequada como um resultado válido.
- Entradas: defina a versão do corpus, a conta de teste e a pergunta.
- Evidências: conserve a resposta, a localização da fonte ou o motivo da recusa e identifique o revisor.
- Resultados: registre as aprovações e o total de execuções. Os exemplos não representam resultados de desempenho do CHINZY.
Em um teste cego de RAG, como calcular a proporção de citações válidas?
Um edital da Universidade de Shanghai avalia a recuperação, citações rastreáveis que sustentam afirmações individuais e abstenção quando as evidências estão ausentes. Este exercício CHINZY utiliza documentos e respostas fictícios; nem a universidade nem um fornecedor foram testados. Congele quatro afirmações em duas perguntas respondíveis, mais uma pergunta que os documentos não podem resolver, antes de comparar os candidatos.
- Recuperação: conte o número de perguntas respondíveis com evidências de referência nos cinco primeiros resultados. Os candidatos fictícios A e B ambos pontuam 2/2.
- Citações: divida as afirmações suportadas e corretamente localizadas por todas as afirmações que exigem evidência. A pontua 3/4. B possui duas citações válidas, uma citação ausente e uma citação desatualizada não relacionada: 2/4. As citações ausentes permanecem no denominador.
- O manual não informa o prazo para o reembolso. A explica que não pode indicar uma data com as fontes disponíveis (1/1). B inventa um prazo (0/1). Use esta pequena amostra para alinhar os critérios dos avaliadores. O desempenho em produção exige uma avaliação própria.
Baixe a planilha de pontuação offline com as fontes, ambas as respostas e exportação CSV ↓
Resultados de negócios e amostras de avaliação
Registre a duração de base e categorias de erro. Divida as amostras em casos comuns, de borda e de falha, corrija entradas e regras de pontuação, e reserve amostras não vistas para aceitação.
- Defina o sucesso da tarefa além de uma resposta HTTP 200.
- Distinga erros do modelo, erros da fonte e falhas de interface.
- Compare o tempo de revisão humana e o custo total da tarefa.
Autorização e confiabilidade
Teste o acesso interdepartamental, contas expiradas, solicitações repetidas, interrupções de rede e timeouts do modelo. Exija confirmação para ações de alto risco, falhas visíveis e tentativas de reinício sem escritas duplicadas.
Entrega e operação contínua
Confirme os ambientes, versões das dependências, etapas de implantação, monitoramento, retenção de logs, backups e reversão. Identifique custos baseados no uso e procedimentos de reavaliação após atualizações do modelo ou do documento.
Modelo de registro de aceitação
Para cada teste, registre o identificador da tarefa, a versão da amostra, o resultado esperado e o observado, o link para a evidência, o responsável pela revisão, a data, os critérios de aceite e as pendências. Combine os limites que fazem sentido para a tarefa.
Antes de começar
A precisão deve ser exigida para atingir 100 por cento?
Separe o risco da tarefa do escopo de avaliação. Permita abstenção ou transferência para humanos quando as evidências forem insuficientes e estabeleça critérios explícitos e inegociáveis para regras críticas e autorização.
Fontes públicas
Verifique o escopo proposto
Use dois perfis de teste e marcas fictícias. Defina os campos visíveis antes de revisar respostas, downloads, exportações e caches. Guarde apenas evidência sintética.
Acesso e ciclo de vida documental ↗Consultar sobre o projeto
Descreva o projeto a partir de uma tarefa.
A primeira análise dos requisitos e documentos é feita a distância. Visitas, profissionais no local, demonstrações, treinamento e suporte dependem dos recursos disponíveis e são acordados por escrito.
Sua próxima consulta
Enviar consulta ↗Descreva primeiro uma tarefa concreta para discutirmos o escopo, os materiais e a próxima etapa.