Ir para o conteúdo
CHINZYSUPER INTELLIGENCE INFRASTRUCTURE
Painel ↗

CHINZY / Guia de compras

Lista de verificação para o aceite de projetos FDE e de agentes de IA

Avalie um projeto de IA com um conjunto de amostras consistente, limites do sistema claros e registros revisáveis. Utilize este checklist para iniciar uma discussão sobre requisitos.

CHINZY · Atualizado:

A quem se destina

Para proprietários de negócios, equipes de TI e equipes de compras definindo a aceitação de pilotos.

Baixar a planilha de aceitação da base de conhecimento (CSV, com 6 testes de exemplo) ↓

01

Como usar a planilha de testes de aceitação da base de conhecimento?

Baixe a planilha e substitua os exemplos por documentos de teste autorizados. Defina as versões, papéis e limiares de aceitação antes de submeter as mesmas perguntas a cada candidato. Por exemplo, um leitor autorizado deve ser capaz de citar o manual atual; outro leitor fazendo a mesma pergunta não deve receber texto restrito. Mantenha evidências para cada execução e classifique uma recusa adequada como um resultado válido.

  • Entradas: defina a versão do corpus, a conta de teste e a pergunta.
  • Evidências: conserve a resposta, a localização da fonte ou o motivo da recusa e identifique o revisor.
  • Resultados: registre as aprovações e o total de execuções. Os exemplos não representam resultados de desempenho do CHINZY.
02

Em um teste cego de RAG, como calcular a proporção de citações válidas?

Um edital da Universidade de Shanghai avalia a recuperação, citações rastreáveis que sustentam afirmações individuais e abstenção quando as evidências estão ausentes. Este exercício CHINZY utiliza documentos e respostas fictícios; nem a universidade nem um fornecedor foram testados. Congele quatro afirmações em duas perguntas respondíveis, mais uma pergunta que os documentos não podem resolver, antes de comparar os candidatos.

  • Recuperação: conte o número de perguntas respondíveis com evidências de referência nos cinco primeiros resultados. Os candidatos fictícios A e B ambos pontuam 2/2.
  • Citações: divida as afirmações suportadas e corretamente localizadas por todas as afirmações que exigem evidência. A pontua 3/4. B possui duas citações válidas, uma citação ausente e uma citação desatualizada não relacionada: 2/4. As citações ausentes permanecem no denominador.
  • O manual não informa o prazo para o reembolso. A explica que não pode indicar uma data com as fontes disponíveis (1/1). B inventa um prazo (0/1). Use esta pequena amostra para alinhar os critérios dos avaliadores. O desempenho em produção exige uma avaliação própria.

Baixe a planilha de pontuação offline com as fontes, ambas as respostas e exportação CSV ↓

03

Resultados de negócios e amostras de avaliação

Registre a duração de base e categorias de erro. Divida as amostras em casos comuns, de borda e de falha, corrija entradas e regras de pontuação, e reserve amostras não vistas para aceitação.

  • Defina o sucesso da tarefa além de uma resposta HTTP 200.
  • Distinga erros do modelo, erros da fonte e falhas de interface.
  • Compare o tempo de revisão humana e o custo total da tarefa.
04

Autorização e confiabilidade

Teste o acesso interdepartamental, contas expiradas, solicitações repetidas, interrupções de rede e timeouts do modelo. Exija confirmação para ações de alto risco, falhas visíveis e tentativas de reinício sem escritas duplicadas.

Veja as três execuções de reinício medidas →

05

Entrega e operação contínua

Confirme os ambientes, versões das dependências, etapas de implantação, monitoramento, retenção de logs, backups e reversão. Identifique custos baseados no uso e procedimentos de reavaliação após atualizações do modelo ou do documento.

06

Modelo de registro de aceitação

Para cada teste, registre o identificador da tarefa, a versão da amostra, o resultado esperado e o observado, o link para a evidência, o responsável pela revisão, a data, os critérios de aceite e as pendências. Combine os limites que fazem sentido para a tarefa.

Antes de começar

A precisão deve ser exigida para atingir 100 por cento?

Separe o risco da tarefa do escopo de avaliação. Permita abstenção ou transferência para humanos quando as evidências forem insuficientes e estabeleça critérios explícitos e inegociáveis para regras críticas e autorização.

Fontes públicas

Verifique o escopo proposto

Use dois perfis de teste e marcas fictícias. Defina os campos visíveis antes de revisar respostas, downloads, exportações e caches. Guarde apenas evidência sintética.

Acesso e ciclo de vida documental ↗

Consultar sobre o projeto

Descreva o projeto a partir de uma tarefa.

A primeira análise dos requisitos e documentos é feita a distância. Visitas, profissionais no local, demonstrações, treinamento e suporte dependem dos recursos disponíveis e são acordados por escrito.

O rascunho fica nesta aba. Revise-o no formulário antes de enviar ou entre em contato por e-mail ou telefone. Não inclua dados sensíveis.

Sua próxima consulta

Enviar consulta ↗

Descreva primeiro uma tarefa concreta para discutirmos o escopo, os materiais e a próxima etapa.

19926595479 ↗

ceo@oneonetalk.com ↗