CHINZY / 구매 안내
FDE 및 AI 에이전트 프로젝트 인수 테스트 체크리스트
같은 시험 자료로 업무의 범위와 성공 조건을 정하고, 다른 담당자가 결과를 다시 확인할 수 있도록 기록합니다. 이 목록을 활용해 시범 프로젝트의 검수 조건을 협의하세요.
CHINZY 작성 · 수정일:
비즈니스 소유자, IT 팀 및 조달 팀이 파일럿 수용을 정의하는 경우.
지식 기반 수용 시트 다운로드 (CSV, 6 개 예제 테스트) ↓
지식베이스 검수표는 어떻게 사용하나요?
표를 내려받아 예시 대신 사용 승인을 받은 시험 문서를 넣으세요. 각 업체에 같은 질문을 주기 전에 문서 버전, 계정 권한, 합격 조건을 정합니다. 권한이 있는 계정에서는 최신 매뉴얼을 인용할 수 있어야 하고, 권한이 없는 계정에서는 같은 질문에도 제한된 본문이 노출되지 않아야 합니다. 시험별 근거를 보관하고, 자료가 부족해 답변을 보류한 경우도 정해 둔 기준에 따라 합격으로 처리하세요.
- 입력: 코퍼스 버전, 테스트 계정 및 질문을 수정합니다.
- 증거: 답변, 소스 위치 또는 거절 이유를 보관하고 검토자를 식별합니다.
- 결과: 통과 항목과 총 실행 횟수를 기록합니다. 예제는 CHINZY 성능 결과가 아닙니다.
블라인드 RAG 평가에서 인용 적합률의 분모는 무엇인가요?
상하이대학교의 조달 공고는 근거 자료를 찾았는지, 답변의 각 주장에 정확한 원문 위치를 인용했는지, 자료가 없을 때 답변을 보류했는지를 구분합니다. 아래는 CHINZY가 만든 가상 문서와 답안으로 연습하는 예시이며 해당 대학이나 실제 업체의 시험 결과가 아닙니다. 답변 가능한 두 문항에서 인용이 필요한 주장 네 개와 자료로 답할 수 없는 한 문항을 미리 정한 뒤 비교합니다.
- 검색 평가는 답할 수 있는 각 문항을 기준으로 상위 5개 검색 결과에 정답 근거가 있는지 확인합니다. 가상 응답 A와 B는 모두 2/2점입니다.
- 인용 적합률은 출처가 필요한 주장 전체를 분모로 삼고, 출처 위치가 정확하며 원문이 주장을 뒷받침하는 경우만 분자에 넣습니다. A는 3/4입니다. B는 적합 2건, 인용 누락 1건, 무관한 구버전 인용 1건이므로 2/4입니다. 인용 누락도 분모에 포함됩니다.
- 답변 보류 예시에서 매뉴얼은 환불 기한을 명시하지 않습니다. A는 근거가 없어 기한을 제시하지 않았으므로 1/1점, B는 임의로 기한을 제시했으므로 0/1점입니다. 이 소수 문항은 검토자 간 채점 기준을 맞추는 데 쓰세요. 실제 운영 성능은 별도 표본으로 평가해야 합니다.
비즈니스 결과 및 평가 샘플
기준 기간과 오류 범주를 기록하십시오. 샘플을 일반, 엣지 및 실패 사례로 나누고 입력 및 점수 규칙을 수정한 후, 미확인 샘플을 수락 테스트를 위해 보유하십시오.
- HTTP 200 응답과 별도로, 실제 업무가 어디까지 완료돼야 성공으로 볼지 정하세요.
- 모델 오류, 소스 오류 및 인터페이스 실패를 구별하십시오.
- 인간 검토 시간과 전체 작업 비용 비교
접근 권한과 신뢰성
부서 간 접근, 만료된 계정, 반복 요청, 네트워크 장애 및 모델 타임아웃 테스트. 고위험 작업에는 확인이 필요하며, 가시적인 실패와 중복 작성 없이 재시도 허용.
인수 및 지속 운영
환경, 의존성 버전, 배포 단계, 모니터링, 로그 보관 기간, 백업 및 롤백 확인. 모델 또는 문서 업데이트 후 사용 기반 비용과 재평가 절차 식별.
검수 결과 기록 양식
각 시험의 작업 ID, 표본 버전, 예상 결과와 실제 결과, 근거 링크, 검토자, 날짜, 통과 기준과 미해결 사항을 기록하세요. 합격 기준은 막연한 정확도 수치 대신 해당 업무를 기준으로 합의합니다.
시작하기 전에
정확도를 100%로 요구해야 하나요?
시험 범위와 오류가 실제 업무에 미치는 영향을 구분하세요. 자료가 부족하면 답변을 보류하거나 담당자에게 이관하도록 하고, 핵심 규칙과 접근 권한에는 반드시 충족해야 할 기준을 정합니다.
공개 참고 자료
제안 범위 검증
시험 계정 두 개와 가상 표식을 사용한다. 각 계정의 허용 필드를 미리 정하고 답변, 다운로드, 내보내기, 캐시를 확인한다. 합성 증거만 보관한다.
접근 권한과 문서 수명 주기 ↗프로젝트 상담
업무를 구체적인 요구사항으로 정리하기
먼저 원격으로 요구 사항과 자료를 확인합니다. 현장 조사, 상주 인력, 장비 시연, 교육 및 사후 지원은 지역별 인력과 장비를 확인한 뒤 서면으로 정합니다.