도입 가치
답변 검토 시간 단축
답변 묶음을 일괄 평가해 검토가 필요한 항목을 선별
응답 품질 일관성 향상
모범답안과의 차이를 확인하고 개선 결과를 반복 점검
데이터 통제·신뢰도 강화
민감정보 노출과 품질 기준을 함께 점검하고 관리
EvalKit 특장점
답변 묶음에서 먼저 검토할 항목을 찾습니다.
답변을 하나씩 읽으면서 검토할 항목을 직접 정리합니다.
항목별 판정과 이유를 보고 필요한 답변부터 비교합니다.
데이터 준비
질문과 실제 답변, 선택적으로 모범답안과 기대 출처. Studio 체험의 JSON 입력은 최대 20건
평가 결과
항목별 판정, 검토 필요 항목, 답변 차이와 CSV
평가 기준
모범답안과 기대 출처를 기준으로 답변의 누락과 오류를 판정합니다.
자동 판정 검토
판정 이유를 확인하고 중요한 답변은 사람이 근거와 대조합니다.
주요기능
출장 규정 안내처럼 제출 서류와 기한을 정확히 답해야 하는 업무에서, 준비한 답변 묶음을 모범답안과 비교하고 오답과 개인정보 노출 항목을 먼저 골라낼 수 있습니다.
최대 20건을 한 작업으로 접수해 동시 4건씩 채점
답변 묶음을 한 작업으로 관리하고 항목별 결과를 확인합니다.
데이터 준비질문과 실제 답변, 선택적으로 모범답안과 기대 출처. Studio 체험의 JSON 입력은 최대 20건
민감정보 보호 규칙(주민번호, 휴대폰, 이메일, 사번, 시스템 프롬프트) 자동 판정
개인정보와 내부 정보의 노출 가능성을 점검합니다.
평가 결과항목별 판정, 검토 필요 항목, 답변 차이와 CSV
사내 vLLM Judge 교체 지원
사내 환경에 맞는 평가와 운영 방식으로 확장합니다.
보호 규칙주민번호·휴대폰·이메일·사번 및 시스템 프롬프트 노출 점검
검증된 성능지표
- 작업당 최대20건
답변 묶음 일괄 평가 및 검토 항목 도출
답변을 하나씩 읽으며 찾는 대신, 답변 묶음을 일괄 채점하여 누락·오류가 의심되는 검토 필요 항목을 먼저 추려냅니다.
- 품질수용률 (640건 평가)96.1%
모범답안 대조 기반의 반복 품질 개선
실제 답변과 모범답안의 차이를 항목별로 대조하고, 데이터와 프롬프트를 보정한 뒤 다시 검토해 응답 품질을 높입니다. 수치는 640건 평가 기준입니다.
- 보호 규칙 점검5종
보안 규칙 자동 점검 및 사내 Judge 연계
개인정보, 사내 식별정보, 시스템 프롬프트 노출 여부를 자동 판정하며 사내 vLLM 평가 모델 교체를 지원합니다.
구성도
구성도를 준비하고 있습니다.
활용사례
활용사례를 준비하고 있습니다.