Saltar al contenido
CHINZYSUPER INTELLIGENCE INFRASTRUCTURE
Consola ↗

CHINZY / Guía de compra

Lista de aceptación para proyectos FDE y agentes de IA

Evaluar un proyecto de IA con un conjunto de muestras consistente, límites del sistema claros y registros revisables. Utilice esta lista de verificación para iniciar una discusión sobre los requisitos.

CHINZY · Actualizado:

A quién va dirigido

Para propietarios de negocios, equipos de TI y equipos de compras que definen la aceptación de pilotos.

Descargar la hoja de aceptación de la base de conocimientos (CSV, 6 pruebas de ejemplo) ↓

01

¿Cómo se usa la hoja de pruebas de la base de conocimiento?

Descargue la hoja y reemplace los ejemplos con documentos de prueba autorizados. Establezca las versiones, roles y umbrales de aceptación antes de plantear las mismas preguntas a cada candidato. Por ejemplo, un lector autorizado debe poder citar el manual actual; otro lector que haga la misma pregunta no debe recibir texto restringido. Guarde la evidencia de cada ejecución y califique un rechazo apropiado como un resultado válido.

  • Entradas: ajuste la versión del corpus, la cuenta de prueba y la pregunta.
  • Evidencia: conserve la respuesta, la ubicación de la fuente o la razón del rechazo e identifique al revisor.
  • Resultados: registre los aprobados y el total de ejecuciones. Los ejemplos no son resultados de rendimiento de CHINZY.
02

En una prueba ciega de RAG, ¿cómo se calcula el porcentaje de citas válidas?

Una licitación de la Universidad de Shanghái evalúa la recuperación, citas rastreables que respaldan afirmaciones individuales y la abstención cuando falta evidencia. Este ejercicio CHINZY utiliza documentos y respuestas ficticios; ni la universidad ni un proveedor fueron evaluados. Congele cuatro afirmaciones en dos preguntas respondibles, más una pregunta que los documentos no pueden resolver, antes de comparar los candidatos.

  • Recuperación: cuente las preguntas respondibles con evidencia de referencia en los cinco primeros resultados. Los candidatos ficticios A y B ambos obtienen 2/2.
  • Citas: divida las afirmaciones respaldadas y correctamente ubicadas entre todas las afirmaciones que requieren evidencia. A obtiene 3/4. B tiene dos citas válidas, una cita faltante y una cita obsoleta no relacionada: 2/4. Las citas faltantes permanecen en el denominador.
  • El manual no indica un plazo de reembolso. A explica que no puede dar una fecha con las fuentes disponibles (1/1). B inventa una fecha (0/1). Esta pequeña muestra permite acordar el criterio de los evaluadores. Para estimar el rendimiento real hace falta otra evaluación.

Descargar la hoja de evaluación sin conexión, con fuentes, dos respuestas y exportación a CSV ↓

03

Resultados empresariales y muestras de evaluación

Registre la duración base y las categorías de error. Divida las muestras en casos comunes, de borde y de fallo, corrija las entradas y reglas de puntuación, y reserve muestras no vistas para la aceptación.

  • Defina el éxito de la tarea más allá de una respuesta HTTP 200.
  • Distinga errores del modelo, errores de la fuente y fallos de la interfaz.
  • Compare el tiempo de revisión humana y el costo total de la tarea.
04

Autorización y fiabilidad

Pruebe el acceso interdepartamental, cuentas expiradas, solicitudes repetidas, interrupciones de red y tiempos de espera del modelo. Exija confirmación para acciones de alto riesgo, fallos visibles y reintentos sin escrituras duplicadas.

Consulte los tres ejecuciones de reintentos medidos →

05

Entrega y operación continua

Confirme los entornos, versiones de dependencias, pasos de implementación, monitoreo, retención de registros, copias de seguridad y recuperación ante fallos. Identifique los costos basados en el uso y los procedimientos de reevaluación tras actualizaciones del modelo o del documento.

06

Plantilla de registro de aceptación

Para cada prueba, anote el identificador de la tarea, la versión de la muestra, el resultado esperado y el observado, la prueba documental, el revisor, la fecha, los criterios de aceptación y lo que quede pendiente. Acuerde los umbrales para la tarea concreta.

Antes de empezar

¿Debe requerirse una precisión del 100 por ciento?

Separe el riesgo de la tarea del alcance de la evaluación. Permita la abstención o la transferencia a humanos cuando la evidencia sea insuficiente y establezca criterios explícitos e inamovibles para reglas críticas y autorización.

Fuentes públicas

Verifica el alcance propuesto

Usa dos identidades de prueba y marcas ficticias. Define los campos visibles antes de revisar respuestas, descargas, exportaciones y cachés. Conserva solo evidencia sintética.

Acceso y ciclo de vida documental ↗

Consultar el proyecto

Define el proyecto a partir de una tarea.

La primera revisión de requisitos y documentación se hace a distancia. Las visitas, el personal en el lugar, las demostraciones, la formación y el soporte se acuerdan por escrito según los recursos disponibles.

El borrador se guarda en esta pestaña. Revísalo en el formulario antes de enviarlo o contacta por correo o teléfono. Omite los datos sensibles.

Tu próxima consulta

Enviar consulta ↗

Describe primero una tarea concreta. Así podremos revisar el alcance, los materiales y el paso siguiente.

19926595479 ↗

ceo@oneonetalk.com ↗