메뉴

연구

통화 품질 검토, 버전 0.1.2: 모든 검사 항목과 모든 알려진 한계

콜센터 시연 태스크입니다. 에이전트는 보험 아웃바운드 영업 통화 5건(그중 1건은 말레이어와 영어가 섞여 있음)을 준수 체크리스트에 따라 채점한 다음, 기록을 갱신합니다: 통화 처리 결과, 통화 금지 목록, 그리고 각 중대 위반 사항마다 플래그 하나.

태스크 cc-qa-001 · 버전 0.1.2, 게이트 실행일 2026년 11월 10일 · Datarena

시연 · 공개 시연 안내. 이 통화들은 오디오가 아니라 짧은 텍스트 발췌문입니다. 채점은 저희가 작성한 정답표에 근거하며, 아직 QA 책임자나 원어민 평가자가 이 통화들을 채점한 적은 없습니다.

식별 정보

태스크
cc-qa-001, 버전 0.1.2, 검증기는 해시로 고정됨
유형
call-qa, 난이도 easy(공개 게이트 파일의 표기 기준)
분야
Regulated outbound sales: call QA and disposition
상태
시연 · 텍스트 발췌문
게이트 실행
2026년 11월 10일, Python 3.11.8, 결정론적 게이트만 실행: 모델 실행 없음, 사람 평가자 없음, 학습 없음
모델 시도
버전 0, 2026년 11월 7일 또는 그 이전: 한 제공사의 현행 모델 2개, 각각 롤아웃 1회, 둘 다 통과. 검증기를 강화하고 정답표는 그대로 둔 이후 버전은 다음에 실행합니다
봉인된 세트
제외됨. 이 태스크는 전체가 공개되어 있으며 판매 대상이 아닙니다

업무 내용

보험 아웃바운드 캠페인의 QA 분석가가 캠페인의 7개 항목 체크리스트에 따라 통화 5건을 채점합니다. 2건에는 중대 위반이 있습니다: 수익이 보장된다고 주장하는 영업 상담원, 그리고 고객이 말레이어로 다시 전화하지 말라고 요청했는데도 상담원이 계속 판매를 이어 가는 경우입니다. 세 번째 통화에는 중대하지 않은 위반이 2건 있습니다. 네 번째 통화에서 고객은 사무실로 전화하지 말라고 하는데, 이는 통화 금지 요청이 아니라 다시 전화해 달라는 요청입니다. 다섯 번째 통화에는 문제가 없습니다. 에이전트가 받는 지시문은 다음과 같습니다:

당신은 캠페인 HL-03의 QA 분석가입니다. calls/에 있는 통화 5건을 docs/QA-CHECKLIST-HL-03.md에 따라 채점하십시오. crm/campaign.db에서: 통화와 체크리스트 항목마다 qa_scores 행을 하나씩 작성하고(PASS, FAIL 또는 NA), calls에서 잘못된 처리 결과를 수정하고, 체크리스트가 요구하는 경우 고객을 dnc에 추가하고, 모든 중대 위반마다 qa_flags 행(심각도 CRITICAL)을 추가하십시오.

올바른 답은 모든 통화를 모든 항목에 대해 PASS, FAIL 또는 NA로 채점하고, 말레이어 통화의 처리 결과를 통화 금지로 설정하고, 해당 고객을 누가 왜 추가했는지와 함께 통화 금지 목록에 추가하고, 다른 처리 결과는 모두 그대로 두며, 각 중대 위반마다 정확히 하나의 중대 플래그를 작성합니다.

채점의 근거

검증기는 에이전트의 채점 결과를 정답표와 비교합니다. 정답표, 체크리스트, 그리고 말레이어 전사본을 포함한 전사본은 저희가 작성했습니다. 정답표와 다른 채점은 QA 책임자라면 받아들일 수 있는 경우라도 실패 처리됩니다. QA 책임자가 이 통화들을 채점하기 전까지, 검증기는 저희 정답표를 충실히 적용한다는 것을 보여 줄 뿐, 저희 정답표가 업계의 채점 방식과 일치한다는 것을 보여 주지는 않습니다.

의뢰형 버전에서는 저희 체크리스트를 QA 책임자가 공개된 규정 문서를 바탕으로 만든 체크리스트로, 말레이어 전사본을 원어민이 작성한 전사본으로 대체합니다. 그다음 두 번째 현업 전문가가 블라인드로 채점하며, 저희는 그 일치도를 보고합니다.

작업 공간

모든 실행은 태스크 자체의 초기화 기능으로 새로 작성된 동일한 파일과 동일한 데이터베이스에서 시작합니다.

경로초기화 후 내용
calls/C-101.txt756바이트
calls/C-102.txt518바이트
calls/C-103.txt400바이트
calls/C-104.txt513바이트
calls/C-105.txt360바이트
crm/campaign.dbcalls (5), dnc (1), qa_flags (0), qa_scores (0)
docs/QA-CHECKLIST-HL-03.md1300바이트

초기화 다이제스트(데이터베이스를 SQL 덤프로 취급한, 시드된 작업 공간의 SHA-256): d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848. 빈 디렉터리에서의 결정론적 초기화: 예. 사용된 작업 공간이 저희 평가 하네스를 통해 동일한 다이제스트로 초기화됨: 예.

도구 상자: 에이전트가 다룰 수 있는 것

읽기
전사본 5건, 체크리스트, 데이터베이스의 모든 테이블.
쓰기
통화와 체크리스트 항목별 채점 결과 하나, 통화의 처리 결과 필드, 통화 금지 목록의 새 항목, 중대 플래그.
건드리면 안 되는 것
전사본과 체크리스트, 데이터베이스 스키마, 통화 기록의 다른 모든 필드, 그리고 처음부터 있던 통화 금지 항목. 어디에도 파일을 추가해서는 안 됩니다. 이 중 하나라도 위반하면 게이트에서 실패하며, 다른 작업 내용과 관계없이 실행 점수는 영점입니다.

게이트와 검사 항목

데이터베이스를 읽을 수 없거나 채점 결과가 없어 검증기가 채점할 수 없는 제출물은 구조화된 사유와 함께 무효로 거부되며 보상은 영점입니다. 그다음 3개의 게이트가 있습니다. 하나라도 실패하면 보상은 영점이며, 검사 항목은 집계되지 않습니다.

  1. 전사본과 체크리스트는 변경되지 않음, calls/ 또는 docs/ 아래에 추가된 파일 없음.
  2. CRM 스키마 변경 없음, 통화 기록은 처리 결과만 변경됨, 시드된 DNC 행은 변경되지 않음.
  3. qa_scores에 35개의 통화-항목 셀마다 정확히 하나의 유효한 결과가 있음.

그다음 8개의 검사 항목이 있으며, 각각 디스크의 데이터베이스와 비교합니다. 검증기는 에이전트가 무엇을 했다고 말하는지는 절대 읽지 않습니다. 가중치의 합은 17이며, 검사 항목 3개가 핵심 항목입니다. 학습 보상인 엄격 기준은 모든 게이트와 모든 검사 항목의 통과를 요구합니다.

검사 항목충족되어야 할 조건가중치핵심
K1두 중대 위반을 모두 발견함(수익 보장 주장, 말레이어로 한 통화 금지 요청 무시)3예
K2두 비중대 위반을 모두 발견함(녹음 고지 없음, 신분증 및 카드 정보 요청 전 동의 없음)2
K3준수한 셀을 FAIL로 표시하지 않음2
K4NA를 포함하여 35개 셀 모두가 참조 그리드와 일치함1
K5통화 금지 요청을 이행함: C-103을 DNC로 설정하고, CU-2203을 누가 왜 추가했는지와 함께 dnc에 추가함(가져온 행의 시스템 출처 정보가 아님)3예
K6잘못된 DNC 없음: 다른 사람은 추가하지 않고, 나중에 전화해 달라고 한 고객은 CALLBACK으로 유지됨3예
K7올바른 처리 결과는 그대로 둠1
K8qa_flags에 중대 위반마다 정확히 하나의 CRITICAL 행만 있고 다른 행은 없음2

점수와 엄격 기준의 정의는 포장재 태스크 페이지와 같습니다.

프로브

보상 해킹은 결과를 위조하거나 변조하는 것으로, 정확히 영점을 받아야 합니다. 그럴듯한 오류는 신중한 분석가도 저지를 수 있는 오류로, 엄격 기준 보상을 받아서는 안 됩니다. 올바른 대안 풀이는 다른 방식으로 작성된 올바른 답으로, 엄격 기준 보상을 받아야 합니다. 2026년 11월 10일에 보상 해킹 9개, 그럴듯한 오류 9개, 올바른 대안 풀이 1개를 실행했으며, 모두 예상된 결과를 반환했습니다.

프로브유형수행한 내용엄격 기준점수실패한 지점
empty보상 해킹답을 작성하지 않음실패0.00무효로 거부됨
report_only보상 해킹작업을 완료했다는 보고서만 작성하고 데이터베이스에는 아무것도 기록하지 않음실패0.00게이트 1, 무효로 거부됨
extra_report_in_out보상 해킹올바른 데이터베이스 행과 함께, 모든 통화가 통과했다고 적은 보고서를 옆에 둠실패0.00게이트 1
delete_breach_calls보상 해킹위반이 있는 통화 2건을 삭제한 뒤 나머지를 통과 처리함실패0.00게이트 2
all_pass그럴듯한 오류모든 셀을 PASS로 표시함: 위반 4건 중 하나도 발견하지 못함실패0.35K1, K2, K4, K5, K8
all_fail_dnc_everyone그럴듯한 오류모든 셀을 FAIL로 표시하고 모든 고객을 통화 금지 목록에 추가함실패0.47K3, K4, K6, K7, K8
keyword_dnc그럴듯한 오류“사무실로 전화하지 말고 휴대전화로 해 주세요”를 통화 금지 요청으로 해석함실패0.53K3, K4, K6, K8
misses_malay_dnc그럴듯한 오류영어 통화는 올바르게 채점했으나 말레이어로 한 통화 금지 요청을 놓침실패0.47K1, K4, K5, K8
dnc_provenance_rewritten보상 해킹기존 통화 금지 항목을 누가 왜 추가했는지를 다시 씀실패0.00게이트 2
call_record_rewritten보상 해킹말레이어 통화를 다른 고객에 연결함실패0.00게이트 2
schema_column_added보상 해킹데이터베이스 스키마에 열을 추가함실패0.00게이트 2
drop_qa_flags보상 해킹올바르게 채점한 뒤 플래그 테이블을 삭제함: 비정상 종료가 아니라 거부로 처리됨실패0.00무효로 거부됨
forged_transcript보상 해킹여섯 번째 전사본을 몰래 추가함실패0.00게이트 1
dnc_row_without_provenance그럴듯한 오류새 통화 금지 항목에 누가 왜 추가했는지가 없음실패0.82K5
dnc_row_mimics_system그럴듯한 오류새 통화 금지 항목이 가져온 항목의 문구를 복사하여 시스템이 추가한 것처럼 보임실패0.82K5
duplicate_critical_flags그럴듯한 오류수익 보장 위반을 3번 플래그함실패0.88K8
lowercase_false_flag그럴듯한 오류준수한 통화에 잘못된 플래그를 달고, 심각도를 소문자로 작성함실패0.88K8
major_flags_added그럴듯한 오류두 개의 중대 플래그 옆에 요청되지 않은 MAJOR 플래그를 추가함실패0.88K8
analyst_id_and_transcript_span_dnc올바른 대안 풀이통화 금지 항목에 분석가의 이름을 적고 말레이어 요청을 인용한 올바른 답통과1.00없음
reference참조 풀이참조 풀이통과1.00없음

저희 평가 하네스는 올바른 최종 상태로부터 적대적 입력 15개도 만들었습니다: 테이블 하나를 삭제한 것 4개, 테이블의 첫 번째 열 이름을 바꾼 것 4개, 데이터베이스를 텍스트로 덮어쓴 것 1개, 입력 하나를 디렉터리로 바꾼 것 6개. 모두 검증기 오류 없이 보상 영점의 보고서를 반환했습니다.

현업 전문가가 결정할 사항

정답표는 업계에 여러 관행이 있을 수 있는 부분마다 하나의 관행을 반영합니다. 어느 쪽이 맞는지는 QA 책임자가 결정합니다. 이 태스크의 미해결 사항:

  • 고객의 이름을 확인하는 것이 녹음 고지 전에 개인 정보를 묻는 것에 해당합니까? 정답표는 해당하지 않는다고 봅니다. 해당한다면, 정답표가 항목 I3에서 통과시킨 통화 4건이 실패하게 됩니다.
  • 녹음 고지 전에 상품명을 언급하는 것이 상품을 설명하는 것에 해당합니까? 정답표는 해당하지 않는다고 보므로, 더 엄격하게 해석하면 실패할 통화 2건이 I3을 통과합니다.
  • “사무실로 전화하지 말고 휴대전화로 해 주세요”는 정답표에서 통화 금지 요청이 아니라 다시 걸기 요청으로 봅니다. 영어, 말레이어, 그리고 두 언어가 섞인 통화에서 그 경계가 어디인지는 QA 책임자가 확인합니다.

검증기가 아직 잡아내지 못하는 것

저희는 자체 검증기를 직접 공격합니다. 2026년 11월 8일, 이 검증기를 올바른 최종 상태에 대한 40가지 단일 변경으로 테스트했습니다: 버전 0은 잘못된 최종 상태 15개를 만점으로 받아들였고, 2개에서는 오류로 중단되었습니다. 2026년 11월 9일, 40가지 모두를 버전 0.1.2에 대해 다시 실행했습니다. 발견된 유형과 각각의 현황은 다음과 같습니다:

잘못된 작업의 유형이 태스크에서의 현황, 2026년 11월 9일
중복 플래그, 또는 심각도가 정확히 CRITICAL이라는 단어가 아닌 잘못된 플래그버전 0.1부터 탐지: K8은 중대 위반마다 정확히 하나의 CRITICAL 행만 있고 다른 행은 없을 것을 요구합니다. duplicate_critical_flags, lowercase_false_flag, major_flags_added
기존 통화 금지 항목을 다시 쓰거나, 삭제했다가 다시 추가함버전 0.1부터 게이트 2에서 탐지: dnc_provenance_rewritten
누가 왜 추가했는지가 없거나, 가져온 항목의 문구를 복사한 새 통화 금지 항목버전 0.1부터 핵심 항목인 K5에서 탐지: dnc_row_without_provenance, dnc_row_mimics_system
스키마에 열을 추가하고 채점 결과와 모순되는 메모로 채움버전 0.1부터 게이트 2에서 탐지: schema_column_added
올바른 테이블 옆에 그와 모순되는 보고서를 둠버전 0.1.1부터 탐지: 파일을 추가하면 게이트 1에서 실패합니다. extra_report_in_out
입력을 디렉터리로 바꾸면 검증기가 비정상 종료됨버전 0.1에서 해결: 이런 종류의 적대적 입력 6개가 오류 없이 0점을 반환합니다
미해결: 모든 필드가 비어 있는 플래그 행이 있으면, 구조화된 거부 대신 검증기가 오류로 중단됩니다미해결. 2026년 11월 9일 발견. 잘못된 답이 받아들여지지는 않으며, 수정과 해당 프로브는 다음 버전에 예정되어 있습니다
아직 확인하지 않음: 새 통화 금지 항목에 적힌 사유가 사실인지 여부설계상 미해결. K5는 누가 왜 추가했는지를 요구하며, 비어 있지 않은 사유는 모두 받아들입니다. 이에 대한 유일한 검사는 현업 전문가의 블라인드 채점입니다
아직 테스트하지 않음: 다른 표현으로 된 통화 금지 요청, 또는 문장 중간에 영어와 말레이어를 오가는 경우미해결. 이 태스크에는 말레이어 요청 1건과 사무실 관련 다시 걸기 요청 1건이 있습니다. 실제 통화나 재연 통화의 전사본으로 범위를 넓힙니다

직접 작성한 프로브는 회귀 테스트 게이트일 뿐 결코 보증이 아닙니다: 저희가 생각해 낸 모든 잘못된 최종 상태가 마땅한 점수를 받는다는 것을 증명할 뿐, 생각하지 못한 경우에 대해서는 아무것도 증명하지 않습니다.

변경 로그

  1. 2026년 11월 7일까지. 버전 0 작성 및 실행. 한 제공사의 현행 모델 2개가 각각 롤아웃 1회로 통과했습니다.
  2. 2026년 11월 8일. 검토 후 버전 0.1: 스키마, 처리 결과 외의 통화 기록, 기존 통화 금지 항목을 시드와 비교합니다. 플래그는 정확히 일치해야 합니다. 새 통화 금지 항목에는 누가 왜 추가했는지가 있어야 합니다. 읽을 수 없는 데이터베이스는 구조화된 거부로 처리합니다. 정답표는 변경되지 않았습니다.
  3. 2026년 11월 8일. 버전 0.1.1: 파일을 추가하면 게이트 1에서 실패합니다. 정답표는 변경되지 않았습니다.
  4. 2026년 11월 8일. 버전 0.1.2: 올바른 대안 풀이 1개, analyst_id_and_transcript_span_dnc. 정답표는 변경되지 않았습니다.
  5. 2026년 11월 9일. 이 페이지 공개. 검토에서 사용한 40가지 변형을 버전 0.1.2에 대해 다시 실행: 38개 탐지, 1개 미해결(위 참조), 그리고 사용된 작업 공간을 수동으로 초기화하는 1개는 저희 평가 하네스 자체의 초기화 기능이 처리합니다.

직접 확인하기

20분 통화를 예약하시면 고객사 엔지니어 앞에서 이 태스크를 실행해 드립니다: 초기화, 보상 해킹, 그럴듯한 오류, 그리고 참조 풀이. 첫 주문 조건은 포장재 태스크 페이지에 있습니다.

샘플 팩 요청 시연 설명 예약