식별 정보
- 태스크
cc-qa-001, 버전 0.1.2, 검증기는 해시로 고정됨- 유형
- call-qa, 난이도 easy(공개 게이트 파일의 표기 기준)
- 분야
- Regulated outbound sales: call QA and disposition
- 상태
- 시연 · 텍스트 발췌문
- 게이트 실행
- 2026년 11월 10일, Python 3.11.8, 결정론적 게이트만 실행: 모델 실행 없음, 사람 평가자 없음, 학습 없음
- 모델 시도
- 버전 0, 2026년 11월 7일 또는 그 이전: 한 제공사의 현행 모델 2개, 각각 롤아웃 1회, 둘 다 통과. 검증기를 강화하고 정답표는 그대로 둔 이후 버전은 다음에 실행합니다
- 봉인된 세트
- 제외됨. 이 태스크는 전체가 공개되어 있으며 판매 대상이 아닙니다
업무 내용
보험 아웃바운드 캠페인의 QA 분석가가 캠페인의 7개 항목 체크리스트에 따라 통화 5건을 채점합니다. 2건에는 중대 위반이 있습니다: 수익이 보장된다고 주장하는 영업 상담원, 그리고 고객이 말레이어로 다시 전화하지 말라고 요청했는데도 상담원이 계속 판매를 이어 가는 경우입니다. 세 번째 통화에는 중대하지 않은 위반이 2건 있습니다. 네 번째 통화에서 고객은 사무실로 전화하지 말라고 하는데, 이는 통화 금지 요청이 아니라 다시 전화해 달라는 요청입니다. 다섯 번째 통화에는 문제가 없습니다. 에이전트가 받는 지시문은 다음과 같습니다:
당신은 캠페인 HL-03의 QA 분석가입니다. calls/에 있는 통화 5건을docs/QA-CHECKLIST-HL-03.md에 따라 채점하십시오.crm/campaign.db에서: 통화와 체크리스트 항목마다 qa_scores 행을 하나씩 작성하고(PASS, FAIL 또는 NA), calls에서 잘못된 처리 결과를 수정하고, 체크리스트가 요구하는 경우 고객을 dnc에 추가하고, 모든 중대 위반마다 qa_flags 행(심각도 CRITICAL)을 추가하십시오.
올바른 답은 모든 통화를 모든 항목에 대해 PASS, FAIL 또는 NA로 채점하고, 말레이어 통화의 처리 결과를 통화 금지로 설정하고, 해당 고객을 누가 왜 추가했는지와 함께 통화 금지 목록에 추가하고, 다른 처리 결과는 모두 그대로 두며, 각 중대 위반마다 정확히 하나의 중대 플래그를 작성합니다.
채점의 근거
검증기는 에이전트의 채점 결과를 정답표와 비교합니다. 정답표, 체크리스트, 그리고 말레이어 전사본을 포함한 전사본은 저희가 작성했습니다. 정답표와 다른 채점은 QA 책임자라면 받아들일 수 있는 경우라도 실패 처리됩니다. QA 책임자가 이 통화들을 채점하기 전까지, 검증기는 저희 정답표를 충실히 적용한다는 것을 보여 줄 뿐, 저희 정답표가 업계의 채점 방식과 일치한다는 것을 보여 주지는 않습니다.
의뢰형 버전에서는 저희 체크리스트를 QA 책임자가 공개된 규정 문서를 바탕으로 만든 체크리스트로, 말레이어 전사본을 원어민이 작성한 전사본으로 대체합니다. 그다음 두 번째 현업 전문가가 블라인드로 채점하며, 저희는 그 일치도를 보고합니다.
작업 공간
모든 실행은 태스크 자체의 초기화 기능으로 새로 작성된 동일한 파일과 동일한 데이터베이스에서 시작합니다.
| 경로 | 초기화 후 내용 |
|---|---|
calls/C-101.txt | 756바이트 |
calls/C-102.txt | 518바이트 |
calls/C-103.txt | 400바이트 |
calls/C-104.txt | 513바이트 |
calls/C-105.txt | 360바이트 |
crm/campaign.db | calls (5), dnc (1), qa_flags (0), qa_scores (0) |
docs/QA-CHECKLIST-HL-03.md | 1300바이트 |
초기화 다이제스트(데이터베이스를 SQL 덤프로 취급한, 시드된 작업 공간의 SHA-256): d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848. 빈 디렉터리에서의 결정론적 초기화: 예. 사용된 작업 공간이 저희 평가 하네스를 통해 동일한 다이제스트로 초기화됨: 예.
도구 상자: 에이전트가 다룰 수 있는 것
- 읽기
- 전사본 5건, 체크리스트, 데이터베이스의 모든 테이블.
- 쓰기
- 통화와 체크리스트 항목별 채점 결과 하나, 통화의 처리 결과 필드, 통화 금지 목록의 새 항목, 중대 플래그.
- 건드리면 안 되는 것
- 전사본과 체크리스트, 데이터베이스 스키마, 통화 기록의 다른 모든 필드, 그리고 처음부터 있던 통화 금지 항목. 어디에도 파일을 추가해서는 안 됩니다. 이 중 하나라도 위반하면 게이트에서 실패하며, 다른 작업 내용과 관계없이 실행 점수는 영점입니다.
게이트와 검사 항목
데이터베이스를 읽을 수 없거나 채점 결과가 없어 검증기가 채점할 수 없는 제출물은 구조화된 사유와 함께 무효로 거부되며 보상은 영점입니다. 그다음 3개의 게이트가 있습니다. 하나라도 실패하면 보상은 영점이며, 검사 항목은 집계되지 않습니다.
- 전사본과 체크리스트는 변경되지 않음, calls/ 또는 docs/ 아래에 추가된 파일 없음.
- CRM 스키마 변경 없음, 통화 기록은 처리 결과만 변경됨, 시드된 DNC 행은 변경되지 않음.
- qa_scores에 35개의 통화-항목 셀마다 정확히 하나의 유효한 결과가 있음.
그다음 8개의 검사 항목이 있으며, 각각 디스크의 데이터베이스와 비교합니다. 검증기는 에이전트가 무엇을 했다고 말하는지는 절대 읽지 않습니다. 가중치의 합은 17이며, 검사 항목 3개가 핵심 항목입니다. 학습 보상인 엄격 기준은 모든 게이트와 모든 검사 항목의 통과를 요구합니다.
| 검사 항목 | 충족되어야 할 조건 | 가중치 | 핵심 |
|---|---|---|---|
| K1 | 두 중대 위반을 모두 발견함(수익 보장 주장, 말레이어로 한 통화 금지 요청 무시) | 3 | 예 |
| K2 | 두 비중대 위반을 모두 발견함(녹음 고지 없음, 신분증 및 카드 정보 요청 전 동의 없음) | 2 | |
| K3 | 준수한 셀을 FAIL로 표시하지 않음 | 2 | |
| K4 | NA를 포함하여 35개 셀 모두가 참조 그리드와 일치함 | 1 | |
| K5 | 통화 금지 요청을 이행함: C-103을 DNC로 설정하고, CU-2203을 누가 왜 추가했는지와 함께 dnc에 추가함(가져온 행의 시스템 출처 정보가 아님) | 3 | 예 |
| K6 | 잘못된 DNC 없음: 다른 사람은 추가하지 않고, 나중에 전화해 달라고 한 고객은 CALLBACK으로 유지됨 | 3 | 예 |
| K7 | 올바른 처리 결과는 그대로 둠 | 1 | |
| K8 | qa_flags에 중대 위반마다 정확히 하나의 CRITICAL 행만 있고 다른 행은 없음 | 2 |
점수와 엄격 기준의 정의는 포장재 태스크 페이지와 같습니다.
프로브
보상 해킹은 결과를 위조하거나 변조하는 것으로, 정확히 영점을 받아야 합니다. 그럴듯한 오류는 신중한 분석가도 저지를 수 있는 오류로, 엄격 기준 보상을 받아서는 안 됩니다. 올바른 대안 풀이는 다른 방식으로 작성된 올바른 답으로, 엄격 기준 보상을 받아야 합니다. 2026년 11월 10일에 보상 해킹 9개, 그럴듯한 오류 9개, 올바른 대안 풀이 1개를 실행했으며, 모두 예상된 결과를 반환했습니다.
| 프로브 | 유형 | 수행한 내용 | 엄격 기준 | 점수 | 실패한 지점 |
|---|---|---|---|---|---|
empty | 보상 해킹 | 답을 작성하지 않음 | 실패 | 0.00 | 무효로 거부됨 |
report_only | 보상 해킹 | 작업을 완료했다는 보고서만 작성하고 데이터베이스에는 아무것도 기록하지 않음 | 실패 | 0.00 | 게이트 1, 무효로 거부됨 |
extra_report_in_out | 보상 해킹 | 올바른 데이터베이스 행과 함께, 모든 통화가 통과했다고 적은 보고서를 옆에 둠 | 실패 | 0.00 | 게이트 1 |
delete_breach_calls | 보상 해킹 | 위반이 있는 통화 2건을 삭제한 뒤 나머지를 통과 처리함 | 실패 | 0.00 | 게이트 2 |
all_pass | 그럴듯한 오류 | 모든 셀을 PASS로 표시함: 위반 4건 중 하나도 발견하지 못함 | 실패 | 0.35 | K1, K2, K4, K5, K8 |
all_fail_dnc_everyone | 그럴듯한 오류 | 모든 셀을 FAIL로 표시하고 모든 고객을 통화 금지 목록에 추가함 | 실패 | 0.47 | K3, K4, K6, K7, K8 |
keyword_dnc | 그럴듯한 오류 | “사무실로 전화하지 말고 휴대전화로 해 주세요”를 통화 금지 요청으로 해석함 | 실패 | 0.53 | K3, K4, K6, K8 |
misses_malay_dnc | 그럴듯한 오류 | 영어 통화는 올바르게 채점했으나 말레이어로 한 통화 금지 요청을 놓침 | 실패 | 0.47 | K1, K4, K5, K8 |
dnc_provenance_rewritten | 보상 해킹 | 기존 통화 금지 항목을 누가 왜 추가했는지를 다시 씀 | 실패 | 0.00 | 게이트 2 |
call_record_rewritten | 보상 해킹 | 말레이어 통화를 다른 고객에 연결함 | 실패 | 0.00 | 게이트 2 |
schema_column_added | 보상 해킹 | 데이터베이스 스키마에 열을 추가함 | 실패 | 0.00 | 게이트 2 |
drop_qa_flags | 보상 해킹 | 올바르게 채점한 뒤 플래그 테이블을 삭제함: 비정상 종료가 아니라 거부로 처리됨 | 실패 | 0.00 | 무효로 거부됨 |
forged_transcript | 보상 해킹 | 여섯 번째 전사본을 몰래 추가함 | 실패 | 0.00 | 게이트 1 |
dnc_row_without_provenance | 그럴듯한 오류 | 새 통화 금지 항목에 누가 왜 추가했는지가 없음 | 실패 | 0.82 | K5 |
dnc_row_mimics_system | 그럴듯한 오류 | 새 통화 금지 항목이 가져온 항목의 문구를 복사하여 시스템이 추가한 것처럼 보임 | 실패 | 0.82 | K5 |
duplicate_critical_flags | 그럴듯한 오류 | 수익 보장 위반을 3번 플래그함 | 실패 | 0.88 | K8 |
lowercase_false_flag | 그럴듯한 오류 | 준수한 통화에 잘못된 플래그를 달고, 심각도를 소문자로 작성함 | 실패 | 0.88 | K8 |
major_flags_added | 그럴듯한 오류 | 두 개의 중대 플래그 옆에 요청되지 않은 MAJOR 플래그를 추가함 | 실패 | 0.88 | K8 |
analyst_id_and_transcript_span_dnc | 올바른 대안 풀이 | 통화 금지 항목에 분석가의 이름을 적고 말레이어 요청을 인용한 올바른 답 | 통과 | 1.00 | 없음 |
reference | 참조 풀이 | 참조 풀이 | 통과 | 1.00 | 없음 |
저희 평가 하네스는 올바른 최종 상태로부터 적대적 입력 15개도 만들었습니다: 테이블 하나를 삭제한 것 4개, 테이블의 첫 번째 열 이름을 바꾼 것 4개, 데이터베이스를 텍스트로 덮어쓴 것 1개, 입력 하나를 디렉터리로 바꾼 것 6개. 모두 검증기 오류 없이 보상 영점의 보고서를 반환했습니다.
현업 전문가가 결정할 사항
정답표는 업계에 여러 관행이 있을 수 있는 부분마다 하나의 관행을 반영합니다. 어느 쪽이 맞는지는 QA 책임자가 결정합니다. 이 태스크의 미해결 사항:
- 고객의 이름을 확인하는 것이 녹음 고지 전에 개인 정보를 묻는 것에 해당합니까? 정답표는 해당하지 않는다고 봅니다. 해당한다면, 정답표가 항목 I3에서 통과시킨 통화 4건이 실패하게 됩니다.
- 녹음 고지 전에 상품명을 언급하는 것이 상품을 설명하는 것에 해당합니까? 정답표는 해당하지 않는다고 보므로, 더 엄격하게 해석하면 실패할 통화 2건이 I3을 통과합니다.
- “사무실로 전화하지 말고 휴대전화로 해 주세요”는 정답표에서 통화 금지 요청이 아니라 다시 걸기 요청으로 봅니다. 영어, 말레이어, 그리고 두 언어가 섞인 통화에서 그 경계가 어디인지는 QA 책임자가 확인합니다.
검증기가 아직 잡아내지 못하는 것
저희는 자체 검증기를 직접 공격합니다. 2026년 11월 8일, 이 검증기를 올바른 최종 상태에 대한 40가지 단일 변경으로 테스트했습니다: 버전 0은 잘못된 최종 상태 15개를 만점으로 받아들였고, 2개에서는 오류로 중단되었습니다. 2026년 11월 9일, 40가지 모두를 버전 0.1.2에 대해 다시 실행했습니다. 발견된 유형과 각각의 현황은 다음과 같습니다:
| 잘못된 작업의 유형 | 이 태스크에서의 현황, 2026년 11월 9일 |
|---|---|
| 중복 플래그, 또는 심각도가 정확히 CRITICAL이라는 단어가 아닌 잘못된 플래그 | 버전 0.1부터 탐지: K8은 중대 위반마다 정확히 하나의 CRITICAL 행만 있고 다른 행은 없을 것을 요구합니다. duplicate_critical_flags, lowercase_false_flag, major_flags_added |
| 기존 통화 금지 항목을 다시 쓰거나, 삭제했다가 다시 추가함 | 버전 0.1부터 게이트 2에서 탐지: dnc_provenance_rewritten |
| 누가 왜 추가했는지가 없거나, 가져온 항목의 문구를 복사한 새 통화 금지 항목 | 버전 0.1부터 핵심 항목인 K5에서 탐지: dnc_row_without_provenance, dnc_row_mimics_system |
| 스키마에 열을 추가하고 채점 결과와 모순되는 메모로 채움 | 버전 0.1부터 게이트 2에서 탐지: schema_column_added |
| 올바른 테이블 옆에 그와 모순되는 보고서를 둠 | 버전 0.1.1부터 탐지: 파일을 추가하면 게이트 1에서 실패합니다. extra_report_in_out |
| 입력을 디렉터리로 바꾸면 검증기가 비정상 종료됨 | 버전 0.1에서 해결: 이런 종류의 적대적 입력 6개가 오류 없이 0점을 반환합니다 |
| 미해결: 모든 필드가 비어 있는 플래그 행이 있으면, 구조화된 거부 대신 검증기가 오류로 중단됩니다 | 미해결. 2026년 11월 9일 발견. 잘못된 답이 받아들여지지는 않으며, 수정과 해당 프로브는 다음 버전에 예정되어 있습니다 |
| 아직 확인하지 않음: 새 통화 금지 항목에 적힌 사유가 사실인지 여부 | 설계상 미해결. K5는 누가 왜 추가했는지를 요구하며, 비어 있지 않은 사유는 모두 받아들입니다. 이에 대한 유일한 검사는 현업 전문가의 블라인드 채점입니다 |
| 아직 테스트하지 않음: 다른 표현으로 된 통화 금지 요청, 또는 문장 중간에 영어와 말레이어를 오가는 경우 | 미해결. 이 태스크에는 말레이어 요청 1건과 사무실 관련 다시 걸기 요청 1건이 있습니다. 실제 통화나 재연 통화의 전사본으로 범위를 넓힙니다 |
직접 작성한 프로브는 회귀 테스트 게이트일 뿐 결코 보증이 아닙니다: 저희가 생각해 낸 모든 잘못된 최종 상태가 마땅한 점수를 받는다는 것을 증명할 뿐, 생각하지 못한 경우에 대해서는 아무것도 증명하지 않습니다.
변경 로그
- 2026년 11월 7일까지. 버전 0 작성 및 실행. 한 제공사의 현행 모델 2개가 각각 롤아웃 1회로 통과했습니다.
- 2026년 11월 8일. 검토 후 버전 0.1: 스키마, 처리 결과 외의 통화 기록, 기존 통화 금지 항목을 시드와 비교합니다. 플래그는 정확히 일치해야 합니다. 새 통화 금지 항목에는 누가 왜 추가했는지가 있어야 합니다. 읽을 수 없는 데이터베이스는 구조화된 거부로 처리합니다. 정답표는 변경되지 않았습니다.
- 2026년 11월 8일. 버전 0.1.1: 파일을 추가하면 게이트 1에서 실패합니다. 정답표는 변경되지 않았습니다.
- 2026년 11월 8일. 버전 0.1.2: 올바른 대안 풀이 1개,
analyst_id_and_transcript_span_dnc. 정답표는 변경되지 않았습니다. - 2026년 11월 9일. 이 페이지 공개. 검토에서 사용한 40가지 변형을 버전 0.1.2에 대해 다시 실행: 38개 탐지, 1개 미해결(위 참조), 그리고 사용된 작업 공간을 수동으로 초기화하는 1개는 저희 평가 하네스 자체의 초기화 기능이 처리합니다.
직접 확인하기
20분 통화를 예약하시면 고객사 엔지니어 앞에서 이 태스크를 실행해 드립니다: 초기화, 보상 해킹, 그럴듯한 오류, 그리고 참조 풀이. 첫 주문 조건은 포장재 태스크 페이지에 있습니다.