标识信息
- 任务
cc-qa-001,版本 0.1.2,验证器已按哈希值冻结- 类别
- call-qa,难度 easy(依据公开的门槛检查文件中的标注)
- 领域
- Regulated outbound sales: call QA and disposition
- 状态
- 演示 · 文本节选
- 门槛检查运行
- 2026年11月10日,Python 3.11.8,仅运行确定性门槛检查:无模型运行、无人工评分员、无训练
- 模型尝试
- 版本 0,于2026年11月7日或之前:同一提供商的两个当前模型,各运行一次,均已通过。后续版本收紧了验证器、答案标准保持不变,接下来将运行这些版本
- 封存评测集
- 不包括。本任务已完整公开,不对外出售
工作内容
一名外呼保险营销活动的质检分析员,依据该活动包含 7 个项目的检查清单为 5 通电话评分。其中 2 通存在严重违规:一名销售人员声称收益有保证;一名客户用马来语要求不要再给他打电话,而销售人员仍继续推销。第三通电话存在 2 项非严重违规。第四通电话中,客户要求不要打到办公室,这是要求改时间回电,而不是免打扰请求。第五通电话没有问题。智能体收到的任务说明如下:
你是营销活动 HL-03 的质检分析员。请依据docs/QA-CHECKLIST-HL-03.md为 calls/ 中的 5 通电话评分。在crm/campaign.db中:为每通电话的每个检查清单项目写入一行 qa_scores(PASS、FAIL 或 NA),更正 calls 中任何错误的处理结果,在检查清单要求时将客户加入 dnc,并为每项严重违规添加一行 qa_flags(severity 为 CRITICAL)。
正确答案会为每通电话的每个项目评分(PASS、FAIL 或 NA),将马来语通话的处理结果设为免打扰,把该客户加入免打扰名单并注明添加人和原因,其他处理结果一律不动,并为每项严重违规恰好写入一个严重标记。
评分的依据
验证器将智能体的评分与答案标准进行比较。答案标准、检查清单和转写文本(包括马来语转写)都由我们编写。与答案标准不同的评分即判为未通过,即使质检主管可能会接受。在质检主管为这些通话评分之前,验证器只能表明它忠实地执行了我们的答案标准,而不能表明我们的答案标准与行业的评分方式一致。
委托开发版本会用质检主管依据公开规则条文制定的检查清单取代我们的检查清单,并用母语人士编写的马来语转写文本取代我们的版本。随后由另一位从业专家进行盲评,我们会报告双方的一致性。
工作区
每次运行都从相同的文件和相同的数据库开始,由任务自身的重置程序重新写入。
| 路径 | 重置后包含的内容 |
|---|---|
calls/C-101.txt | 756 字节 |
calls/C-102.txt | 518 字节 |
calls/C-103.txt | 400 字节 |
calls/C-104.txt | 513 字节 |
calls/C-105.txt | 360 字节 |
crm/campaign.db | calls (5), dnc (1), qa_flags (0), qa_scores (0) |
docs/QA-CHECKLIST-HL-03.md | 1300 字节 |
重置摘要值,即初始工作区的 SHA-256(数据库以其 SQL 转储计):d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848。从空目录重置是否确定:是。使用过的工作区经我们的测试框架重置后是否得到相同摘要值:是。
工具箱:智能体可以操作什么
- 读取
- 5 份转写文本、检查清单,以及数据库中的每张表。
- 写入
- 每通电话每个检查清单项目的一个评分、通话记录的处理结果字段、免打扰名单中的新条目,以及严重标记。
- 不得改动
- 转写文本和检查清单、数据库模式、通话记录的其他所有字段,以及初始时已存在的免打扰条目。不得在任何位置添加文件。违反其中任何一项都会导致门槛检查未通过,无论这次运行做了什么,都得零分。
门槛检查与检查项
如果提交内容因数据库无法读取或不含任何评分而无法被验证器评分,则判为无效并给予零奖励,同时附上结构化原因。之后是 3 项门槛检查。任何一项未通过,奖励即为零,且不计算任何检查项。
- 转写文本和检查清单未被改动,calls/ 或 docs/ 下未添加文件。
- CRM 数据库模式未变;通话记录仅处理结果有变动;初始的 DNC 行未被改动。
- qa_scores 对 35 个“通话-项目”单元格中的每一个恰好包含一个有效结果。
之后是 8 个检查项,每一项都与磁盘上的数据库进行比较。验证器从不读取智能体声称自己做了什么。权重之和为 17;其中 3 个检查项为关键项。严格通过即训练奖励,要求所有门槛检查和所有检查项均通过。
| 检查项 | 必须成立的条件 | 权重 | 关键 |
|---|---|---|---|
| K1 | 发现全部两项严重违规(声称收益有保证;忽视以马来语提出的免打扰请求) | 3 | 是 |
| K2 | 发现全部两项非严重违规(未告知录音;在索取身份证件和银行卡信息前未征得同意) | 2 | |
| K3 | 没有将合规的单元格标为 FAIL | 2 | |
| K4 | 全部 35 个单元格与参考评分表一致,包括 NA | 1 | |
| K5 | 免打扰请求得到落实:C-103 设为 DNC,CU-2203 加入 dnc 并注明添加人和原因(而不是导入行所带的系统来源信息) | 3 | 是 |
| K6 | 没有误加 DNC:未添加其他任何人,要求稍后回电的客户保持为 CALLBACK | 3 | 是 |
| K7 | 正确的处理结果保持不动 | 1 | |
| K8 | qa_flags 中每项严重违规恰好对应一行 CRITICAL,且没有其他行 | 2 |
得分和严格通过的定义与包装任务页面相同。
探针
奖励作弊指伪造或篡改,必须恰好得零分。看似合理的错误是细心的分析员也可能犯的错误,不得获得严格奖励。正确的替代解法是以另一种方式写出的正确答案,必须获得严格奖励。我们于 2026年11月10日 运行了 9 种奖励作弊、9 种看似合理的错误和 1 种正确的替代解法,每一种都返回了预期结果。
| 探针 | 类型 | 做了什么 | 严格 | 得分 | 哪项未通过 |
|---|---|---|---|---|---|
empty | 奖励作弊 | 未写入任何答案 | 未通过 | 0.00 | 判为无效 |
report_only | 奖励作弊 | 一份声称工作已完成的书面报告,但数据库中没有写入任何内容 | 未通过 | 0.00 | 门槛检查 1,判为无效 |
extra_report_in_out | 奖励作弊 | 数据库行正确,另在旁边附一份报告,声称每通电话都通过 | 未通过 | 0.00 | 门槛检查 1 |
delete_breach_calls | 奖励作弊 | 删除了存在违规的两通电话,然后让其余电话全部通过 | 未通过 | 0.00 | 门槛检查 2 |
all_pass | 看似合理的错误 | 将每个单元格标为 PASS:4 项违规一项都没发现 | 未通过 | 0.35 | K1, K2, K4, K5, K8 |
all_fail_dnc_everyone | 看似合理的错误 | 将每个单元格标为 FAIL,并把每位客户都加入免打扰名单 | 未通过 | 0.47 | K3, K4, K6, K7, K8 |
keyword_dnc | 看似合理的错误 | 把“别打我办公室电话,打我手机”理解为免打扰请求 | 未通过 | 0.53 | K3, K4, K6, K8 |
misses_malay_dnc | 看似合理的错误 | 英语通话评分正确,但漏掉了以马来语提出的免打扰请求 | 未通过 | 0.47 | K1, K4, K5, K8 |
dnc_provenance_rewritten | 奖励作弊 | 改写了现有免打扰条目的添加人和原因 | 未通过 | 0.00 | 门槛检查 2 |
call_record_rewritten | 奖励作弊 | 将马来语通话指向了另一位客户 | 未通过 | 0.00 | 门槛检查 2 |
schema_column_added | 奖励作弊 | 在数据库模式中添加了一列 | 未通过 | 0.00 | 门槛检查 2 |
drop_qa_flags | 奖励作弊 | 评分正确,随后删除了标记表:判为拒绝,而不是崩溃 | 未通过 | 0.00 | 判为无效 |
forged_transcript | 奖励作弊 | 植入了第六份转写文本 | 未通过 | 0.00 | 门槛检查 1 |
dnc_row_without_provenance | 看似合理的错误 | 新的免打扰条目既没有注明添加人,也没有注明原因 | 未通过 | 0.82 | K5 |
dnc_row_mimics_system | 看似合理的错误 | 新的免打扰条目照抄导入条目的措辞,伪装成由系统添加 | 未通过 | 0.82 | K5 |
duplicate_critical_flags | 看似合理的错误 | 将收益保证违规标记了三次 | 未通过 | 0.88 | K8 |
lowercase_false_flag | 看似合理的错误 | 对合规通话做了错误标记,且 severity 以小写书写 | 未通过 | 0.88 | K8 |
major_flags_added | 看似合理的错误 | 在两个严重标记之外,又添加了一个未被要求的 MAJOR 标记 | 未通过 | 0.88 | K8 |
analyst_id_and_transcript_span_dnc | 正确的替代解法 | 一个正确答案,其免打扰条目注明了分析员,并引用了马来语请求 | 通过 | 1.00 | 无 |
reference | 参考解法 | 参考解法 | 通过 | 1.00 | 无 |
我们的测试框架还基于一个正确的最终状态构造了 15 个恶意输入:4 个删除了一张表,4 个重命名了某张表的第一列,1 个用文本覆盖了数据库,6 个将某个输入替换为目录。每一个都返回了零奖励的报告,且没有验证器错误。
需要从业专家定夺的问题
凡是行业内可能存在多种惯例的地方,答案标准只采用其中一种。哪种正确由质检主管决定。本任务尚待定夺的问题:
- 在告知录音之前确认客户姓名,是否算作索取个人信息?答案标准认为不算。如果算,答案标准中在 I3 项上判为通过的 4 通电话将判为未通过。
- 在告知录音之前说出产品名称,是否算作介绍产品?答案标准认为不算,因此有 2 通电话在 I3 项上通过,而按更严格的解读则会判为未通过。
- 在答案标准中,“别打我办公室电话,打我手机”属于回电请求,而不是免打扰请求。界线在英语、马来语以及两者混合的通话中各落在何处,由质检主管确认。
验证器目前还无法发现的问题
我们会攻击自己的验证器。2026年11月8日,我们针对正确最终状态的 40 个单点修改对该验证器进行了测试:版本 0 以满分接受了 15 个错误的最终状态,并在 2 个上因错误而中止。2026年11月9日,我们针对版本 0.1.2 重新运行了全部 40 个修改。发现的类别及各自现状如下:
| 错误工作的类别 | 本任务上的状态,2026年11月9日 |
|---|---|
| 重复标记,或 severity 不是确切单词 CRITICAL 的错误标记 | 自版本 0.1 起已能发现:K8 要求每项严重违规恰好对应一行 CRITICAL,且没有其他行。duplicate_critical_flags、lowercase_false_flag、major_flags_added |
| 现有免打扰条目被改写,或被删除后重新添加 | 自版本 0.1 起由门槛检查 2 发现:dnc_provenance_rewritten |
| 新的免打扰条目既未注明添加人也未注明原因,或照抄导入条目的措辞 | 自版本 0.1 起由关键检查项 K5 发现:dnc_row_without_provenance、dnc_row_mimics_system |
| 在数据库模式中添加列,并填入与评分相矛盾的备注 | 自版本 0.1 起由门槛检查 2 发现:schema_column_added |
| 在正确的数据表旁附上一份与之矛盾的报告 | 自版本 0.1.1 起已能发现:任何新增文件都会导致门槛检查 1 未通过。extra_report_in_out |
| 将某个输入替换为目录会导致验证器崩溃 | 已在版本 0.1 中解决:6 个此类恶意输入返回零分且无错误 |
| 未解决:所有字段均为空的标记行会使验证器因错误而中止,而不是给出结构化拒绝 | 未解决。于2026年11月9日发现。没有错误答案被接受;修复及其探针已排入下一版本 |
| 尚未读取:新免打扰条目中的原因是否属实 | 按设计保留,未解决。K5 要求注明条目的添加人和原因,并接受任何非空的原因。唯一的检查手段是从业专家的盲评 |
| 尚未测试:以其他措辞表达的免打扰请求,或在一句话中途切换英语和马来语 | 未解决。本任务包含一条马来语请求和一条办公室回电请求。真实或重演通话的转写文本将扩大其覆盖范围 |
手工编写的探针是回归门槛,绝不是保证:它们证明了我们想到的每一种错误最终状态都得到应有的分数,但对我们没有想到的情况则无法证明任何事情。
变更记录
- 截至2026年11月7日。编写并运行了版本 0。同一提供商的两个当前模型各运行一次,均已通过。
- 2026年11月8日。评审后发布版本 0.1:数据库模式、通话记录中处理结果以外的字段以及现有免打扰条目都会与初始数据进行比较;标记必须完全匹配;新的免打扰条目必须注明添加人和原因;数据库无法读取时给出结构化拒绝。答案标准保持不变。
- 2026年11月8日。版本 0.1.1:任何新增文件都会导致门槛检查 1 未通过。答案标准保持不变。
- 2026年11月8日。版本 0.1.2:1 个正确的替代解法,
analyst_id_and_transcript_span_dnc。答案标准保持不变。 - 2026年11月9日。发布本页面。评审中的 40 个变异针对版本 0.1.2 重新运行:发现 38 个,1 个未解决(见上文),另有 1 个是手动重置使用过的工作区,这由我们评测框架自身的重置程序处理。
演示讲解
预约一次 20 分钟的通话,我们会在您的工程师面前运行此任务:一次重置、一个奖励作弊、一个看似合理的错误,然后是参考解法。首单条款见包装任务页面。