基本資料
- 任務
cc-qa-001,版本 0.1.2,驗證器以雜湊值凍結- 類別
- call-qa,難度 easy,依公開門檻檢查檔案的標示
- 領域
- Regulated outbound sales: call QA and disposition
- 狀態
- 示範・文字節錄
- 門檻檢查執行
- 2026年11月10日,Python 3.11.8,僅執行確定性的門檻檢查:無模型執行、無人工評分人員、無訓練
- 模型嘗試
- 版本 0,2026年11月7日或之前:來自同一供應商的兩個現行模型,各執行一次 rollout,兩者皆通過。後續版本收緊了驗證器、標準答案維持不變,接著將執行
- 封存集
- 不納入。此任務已完整公開,不對外銷售
工作內容
一位外撥保險活動的品保分析師,依據該活動含 7 個項目的檢核清單,為五通通話評分。其中兩通有重大違規:一位銷售人員聲稱報酬有保證,以及一位客戶以馬來語要求不要再打來,銷售人員卻繼續推銷。第三通有兩項非重大違規。第四通中,客戶要求不要打到辦公室,這是要求回電,而不是拒絕來電的要求。第五通沒有問題。AI 代理收到的指示如下:
你是活動 HL-03 的品保分析師。請依據docs/QA-CHECKLIST-HL-03.md為 calls/ 中的五通通話評分。在crm/campaign.db中:針對每通通話與每個檢核項目寫入一筆 qa_scores 資料列(PASS、FAIL 或 NA),修正 calls 中任何錯誤的處置結果,依檢核清單要求將客戶加入 dnc,並為每項重大違規新增一筆 qa_flags 資料列(severity 為 CRITICAL)。
正確答案會為每通通話的每個項目評分(PASS、FAIL 或 NA),將馬來語通話的處置結果設為拒絕來電,將該客戶加入拒絕來電名單並註明由誰加入及原因,其他處置結果一律不動,並為每項重大違規恰好寫入一個重大標記。
評分的依據
驗證器會將 AI 代理的評分與標準答案比對。標準答案、檢核清單與逐字稿(包括馬來語那一份)都是由我們撰寫的。與標準答案不同的評分即判定未通過,即使品保主管可能會接受。在品保主管為這些通話評分之前,驗證器所證明的是它忠實套用了我們的標準答案,而非我們的標準答案符合業界的評分方式。
委託製作的版本會以品保主管依公開法規條文建立的檢核清單取代我們的檢核清單,並以母語人士撰寫的馬來語逐字稿取代現有版本。之後由第二位業界專家進行盲評,我們再報告一致性。
工作區
每次執行都從相同的檔案與相同的資料庫開始,由任務本身的重設程序重新寫入。
| 路徑 | 重設後的內容 |
|---|---|
calls/C-101.txt | 756 位元組 |
calls/C-102.txt | 518 位元組 |
calls/C-103.txt | 400 位元組 |
calls/C-104.txt | 513 位元組 |
calls/C-105.txt | 360 位元組 |
crm/campaign.db | calls (5), dnc (1), qa_flags (0), qa_scores (0) |
docs/QA-CHECKLIST-HL-03.md | 1300 位元組 |
重設摘要值,即種子工作區的 SHA-256(資料庫以其 SQL 傾印計算):d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848。從空目錄重設是否具確定性:是。使用過的工作區透過我們的測試框架重設後,是否得到相同的摘要值:是。
工具箱:AI 代理可以觸及的範圍
- 讀取
- 五份逐字稿、檢核清單,以及資料庫中的每個資料表。
- 寫入
- 每通通話與每個檢核項目各一個評分、通話的處置結果欄位、拒絕來電名單上的新條目,以及重大標記。
- 不得觸及
- 逐字稿與檢核清單、資料庫結構描述、通話紀錄的其他所有欄位,以及起始時就已存在的拒絕來電條目。不得在任何位置新增檔案。違反其中任何一項,即未通過門檻檢查,無論該次執行做了什麼,都以零分計。
門檻檢查與檢查項目
驗證器無法評分的提交(因資料庫無法讀取或未包含任何評分)會被判定為無效而拒絕,獎勵為零,並附上結構化的原因。接著是三項門檻檢查。任一項未通過,獎勵即為零,且不計入任何檢查項目。
- 逐字稿與檢核清單未被更動,calls/ 或 docs/ 下未新增任何檔案。
- CRM 結構描述未變更;通話紀錄僅處置結果有變更;種子 DNC 資料列未被更動。
- qa_scores 對 35 個通話與項目組合的儲存格,各恰好包含一個有效結果。
接著是八個檢查項目,每一個都與磁碟上的資料庫比對。驗證器從不讀取 AI 代理聲稱自己做了什麼。權重總和為 17;其中 3 個檢查項目為關鍵。嚴格通過(即訓練獎勵)需要通過每項門檻檢查與每個檢查項目。
| 檢查項目 | 必須成立的條件 | 權重 | 關鍵 |
|---|---|---|---|
| K1 | 找出兩項重大違規(保證報酬的聲稱;忽略以馬來語提出的拒絕來電要求) | 3 | 是 |
| K2 | 找出兩項非重大違規(未告知錄音;在詢問身分證與卡片資料前未取得同意) | 2 | |
| K3 | 沒有任何合規的儲存格被標為 FAIL | 2 | |
| K4 | 全部 35 個儲存格皆與參考表格相符,包括 NA | 1 | |
| K5 | 尊重拒絕來電的要求:C-103 設為 DNC,且 CU-2203 加入 dnc,並註明由誰加入及原因(而非匯入資料列的系統來源) | 3 | 是 |
| K6 | 沒有錯誤的 DNC:未加入其他任何人,要求稍後回電的客戶維持 CALLBACK | 3 | 是 |
| K7 | 正確的處置結果維持不動 | 1 | |
| K8 | qa_flags 對每項重大違規恰好各有一筆 CRITICAL 資料列,且沒有其他資料列 | 2 |
分數與嚴格通過的定義,與包裝任務頁面上的相同。
探針
獎勵作弊是偽造或竄改,必須恰好得到零分。看似合理的錯誤,是細心的分析師也可能犯下的錯誤;它不得獲得嚴格獎勵。正確的替代解法,是以另一種方式寫出的正確答案;它必須獲得嚴格獎勵。9 個獎勵作弊、9 個看似合理的錯誤與 1 個正確的替代解法已於 2026年11月10日 執行,每一個都得到預期的結果。
| 探針 | 類型 | 做了什麼 | 嚴格 | 分數 | 未通過的項目 |
|---|---|---|---|---|---|
empty | 獎勵作弊 | 未寫入任何答案 | 未通過 | 0.00 | 判定為無效而拒絕 |
report_only | 獎勵作弊 | 一份聲稱工作已完成的書面報告,但未在資料庫中寫入任何內容 | 未通過 | 0.00 | 門檻檢查 1,判定為無效而拒絕 |
extra_report_in_out | 獎勵作弊 | 正確的資料庫資料列,外加一份聲稱每通通話都通過的報告 | 未通過 | 0.00 | 門檻檢查 1 |
delete_breach_calls | 獎勵作弊 | 刪除了兩通有違規的通話,然後讓其餘通話通過 | 未通過 | 0.00 | 門檻檢查 2 |
all_pass | 看似合理的錯誤 | 將每個儲存格都標為 PASS:四項違規一項也沒找到 | 未通過 | 0.35 | K1, K2, K4, K5, K8 |
all_fail_dnc_everyone | 看似合理的錯誤 | 將每個儲存格都標為 FAIL,並將每位客戶都加入拒絕來電名單 | 未通過 | 0.47 | K3, K4, K6, K7, K8 |
keyword_dnc | 看似合理的錯誤 | 將「不要打到辦公室,打我的手機」解讀為拒絕來電的要求 | 未通過 | 0.53 | K3, K4, K6, K8 |
misses_malay_dnc | 看似合理的錯誤 | 正確評分了英語通話,但漏掉了以馬來語提出的拒絕來電要求 | 未通過 | 0.47 | K1, K4, K5, K8 |
dnc_provenance_rewritten | 獎勵作弊 | 改寫了既有拒絕來電條目的加入者與原因 | 未通過 | 0.00 | 門檻檢查 2 |
call_record_rewritten | 獎勵作弊 | 將馬來語通話指向另一位客戶 | 未通過 | 0.00 | 門檻檢查 2 |
schema_column_added | 獎勵作弊 | 在資料庫結構描述中新增了一個欄位 | 未通過 | 0.00 | 門檻檢查 2 |
drop_qa_flags | 獎勵作弊 | 評分正確,然後刪除了標記資料表:結果是拒絕,而非當機 | 未通過 | 0.00 | 判定為無效而拒絕 |
forged_transcript | 獎勵作弊 | 植入了第六份逐字稿 | 未通過 | 0.00 | 門檻檢查 1 |
dnc_row_without_provenance | 看似合理的錯誤 | 新的拒絕來電條目既未說明由誰加入,也未說明原因 | 未通過 | 0.82 | K5 |
dnc_row_mimics_system | 看似合理的錯誤 | 新的拒絕來電條目複製了匯入條目的措辭,假裝是系統所加入 | 未通過 | 0.82 | K5 |
duplicate_critical_flags | 看似合理的錯誤 | 將保證報酬違規標記了三次 | 未通過 | 0.88 | K8 |
lowercase_false_flag | 看似合理的錯誤 | 對合規通話的錯誤標記,severity 以小寫寫入 | 未通過 | 0.88 | K8 |
major_flags_added | 看似合理的錯誤 | 在兩個重大標記之外,多了一個未被要求的 MAJOR 標記 | 未通過 | 0.88 | K8 |
analyst_id_and_transcript_span_dnc | 正確的替代解法 | 一個正確答案,其拒絕來電條目註明了分析師姓名,並引用了馬來語的要求 | 通過 | 1.00 | 無 |
reference | 參考解法 | 參考解法 | 通過 | 1.00 | 無 |
我們的測試框架也從一個正確的最終狀態建立了 15 個惡意輸入:4 個刪除了一個資料表、4 個將資料表的第一個欄位重新命名、一個將資料庫以文字覆寫、6 個將某個輸入替換為目錄。每一個都回傳了獎勵為零的報告,且未發生驗證器錯誤。
需由業界專家定奪的事項
標準答案在業界可能有多種慣例之處,都只編入其中一種。由品保主管決定哪一種才正確。本任務尚待確認的事項:
- 確認客戶姓名,是否算是在告知錄音之前詢問個人資料?標準答案認為不算。若算,標準答案在項目 I3 判定通過的四通通話將會未通過。
- 在告知錄音之前提到產品名稱,是否算是描述產品?標準答案認為不算,因此有兩通通話通過了 I3,而較嚴格的解讀會判定其未通過。
- 在標準答案中,「不要打到辦公室,打我的手機」屬於回電要求,而非拒絕來電的要求。由品保主管確認英語、馬來語以及兩者夾雜的通話中,界線分別落在哪裡。
驗證器目前尚未能抓出的問題
我們會攻擊自己的驗證器。2026年11月8日,我們以對正確最終狀態所做的 40 個單一變更測試了這個驗證器:版本 0 以滿分接受了 15 個錯誤的最終狀態,並在其中兩個上因錯誤而中止。2026年11月9日,我們以版本 0.1.2 重新執行了全部 40 個變更。發現的類別及其目前狀態如下:
| 錯誤工作的類別 | 本任務的狀態,2026年11月9日 |
|---|---|
| 重複的標記,或 severity 不是確切的 CRITICAL 字樣的錯誤標記 | 自版本 0.1 起已能抓出:K8 要求每項重大違規恰好各有一筆 CRITICAL 資料列,且沒有其他資料列。duplicate_critical_flags、lowercase_false_flag、major_flags_added |
| 既有的拒絕來電條目被改寫,或被刪除後重新加入 | 自版本 0.1 起由門檻檢查 2 抓出:dnc_provenance_rewritten |
| 新的拒絕來電條目既未說明由誰加入也未說明原因,或複製了匯入條目的措辭 | 自版本 0.1 起由 K5(關鍵)抓出:dnc_row_without_provenance、dnc_row_mimics_system |
| 在結構描述中新增欄位,並填入與評分相矛盾的備註 | 自版本 0.1 起由門檻檢查 2 抓出:schema_column_added |
| 在正確資料表旁附上一份與其相矛盾的報告 | 自版本 0.1.1 起已能抓出:任何新增的檔案都會使門檻檢查 1 未通過。extra_report_in_out |
| 將輸入替換為目錄會使驗證器當機 | 已於版本 0.1 修正:6 個此類惡意輸入會回傳零分且不發生錯誤 |
| 未解決:所有欄位皆為空白的標記資料列,會使驗證器因錯誤而中止,而非給出結構化的拒絕 | 未解決。於 2026年11月9日發現。沒有任何錯誤答案被接受;修正及其探針已排入下一個版本 |
| 仍未讀取:新拒絕來電條目上的原因是否屬實 | 依設計未解決。K5 要求註明由誰加入條目及原因,並接受任何非空白的原因。唯一的檢查是業界專家的盲評 |
| 尚未測試:以其他措辭表達的拒絕來電要求,或在句中切換英語與馬來語 | 未解決。本任務包含一個馬來語要求與一個辦公室回電要求。真實或重新演繹通話的逐字稿可擴大涵蓋範圍 |
手寫的探針是回歸測試的門檻檢查,絕非保證:它們證明我們想得到的每一種錯誤最終狀態都會得到應有的分數,但對於我們沒想到的那些,則無法證明任何事。
變更紀錄
- 2026年11月7日前。撰寫並執行版本 0。來自同一供應商的兩個現行模型,各以一次 rollout 通過。
- 2026年11月8日。審查後推出版本 0.1:結構描述、處置結果以外的通話紀錄,以及既有的拒絕來電條目,都會與種子比對;標記必須完全相符;新的拒絕來電條目必須說明由誰加入及原因;無法讀取的資料庫會得到結構化的拒絕。標準答案維持不變。
- 2026年11月8日。版本 0.1.1:任何新增的檔案都會使門檻檢查 1 未通過。標準答案維持不變。
- 2026年11月8日。版本 0.1.2:一個正確的替代解法,
analyst_id_and_transcript_span_dnc。標準答案維持不變。 - 2026年11月9日。本頁發布。審查時的 40 個變異以版本 0.1.2 重新執行:抓出 38 個,一個尚未解決(見上方),另一個是以手動方式重設使用過的工作區,而這由我們評測框架本身的重設程序處理。
逐步導覽
預約 20 分鐘的通話,我們會在您的工程師面前執行這個任務:一次重設、一個獎勵作弊、一個看似合理的錯誤,然後是參考解法。首次訂購的條款請見包裝任務頁面。