도입 가치
모델 선정 시간 단축
같은 질문과 문맥으로 후보 답변을 나란히 비교
도입 판단 신뢰도 향상
블라인드 평가와 기준별 판정 이유로 업무 적합성을 확인
검증 자원 효율화
GPU 메모리 조건으로 후보를 좁히고 라이선스 정보를 확인
BenchKit 특장점
같은 업무 질문으로 모델의 답변을 비교합니다.
서로 다른 질문의 인상적인 답변을 보고 후보를 고릅니다.
질문과 참조 문맥을 맞추고 답변의 차이와 판단 이유를 검토합니다.
비교 방식
동일 질문·참조 문맥으로 두 후보 비교 또는 답변 직접 입력
평가 기준
정확성, 근거성, 명확성, 유용성, 전문성
비교 조건
질문·참조 문맥·후보와 설정이 같은 조건인지 확인합니다.
등록 정보와 이번 평가
모델 카탈로그의 등록 점수와 현재 질문의 답변 평가를 구분합니다.
주요기능
지원사업 안내에 사용할 모델을 고를 때, 같은 신청 조건과 질문을 두 모델에 제공하고 답변의 정확성과 근거를 비교할 수 있습니다.
모델 사양과 등록 벤치마크로 후보 탐색
등록된 모델 정보로 비교할 후보를 찾습니다.
비교 방식동일 질문·참조 문맥으로 두 후보 비교 또는 답변 직접 입력
GPU 메모리 조건으로 카탈로그 필터
운영 환경의 자원 조건을 고려해 후보를 좁힙니다.
평가 기준정확성, 근거성, 명확성, 유용성, 전문성
실제 생성 답변 또는 직접 입력 답변의 품질 비교
같은 조건의 답변을 비교하고 평가 근거를 살펴봅니다.
평가 방법모델명을 가린 블라인드 자동 평가와 판정 이유
검증된 성능지표
- 모델 비교동일 조건
업무 질문과 근거 중심의 모델 검증
등록된 일반 벤치마크 점수만으로는 알기 어려운 내 업무 질문과 참조 문맥을 동일하게 적용해 두 후보 모델을 비교합니다.
- 평가 기준5개
블라인드 자동 평가와 판정 이유 제시
모델명을 가린 블라인드 평가로 선입견을 배제하고, 5개 기준 점수와 필수 조건 누락·사실 불일치 등 판정 이유를 함께 확인합니다.
- 자원 필터GPU
도입 환경에 맞는 모델 후보 압축
등록된 모델 사양과 GPU 메모리 요구사항으로 사내 온프레미스 환경에 맞는 후보를 좁히고, 라이선스 정보를 함께 확인합니다.
구성도
구성도를 준비하고 있습니다.
활용사례
활용사례를 준비하고 있습니다.