メニュー

研究

通話品質レビュー、バージョン0.1.2:すべてのチェック項目と、すべての既知の不足点

コンタクトセンター向けのデモンストレーションタスクです。エージェントは、保険のアウトバウンド営業通話5件(うち1件はマレー語に英語が混ざったもの)をコンプライアンスのチェックリストに照らして採点し、記録を更新します。更新するのは、通話の処理区分、架電禁止リスト、そして重大な違反ごとに1つのフラグです。

タスク cc-qa-001 · バージョン0.1.2、ゲート実行日 2026年11月10日 · Datarena

デモンストレーション · 公開デモンストレーションについて。これらの通話は短いテキストの抜粋であり、音声ではありません。採点は当社の正解キーに基づいています。QAリーダーやネイティブスピーカーの評価者は、まだこれらの通話を採点していません。

基本情報

タスク
cc-qa-001、バージョン0.1.2、検証器はハッシュで凍結
ファミリー
call-qa、難易度easy(公開のゲートファイルの表記による)
分野
Regulated outbound sales: call QA and disposition
ステータス
デモンストレーション · テキストの抜粋
ゲート実行日
2026年11月10日、Python 3.11.8、決定的なゲートのみ:モデルの実行なし、人間の評価者なし、学習なし
モデルの試行
バージョン0、2026年11月7日以前:1社のプロバイダーの現行モデル2つで各1回ロールアウトし、両方とも合格。検証器を厳格化し、正解キーは変更していない後続のバージョンを次に実行します
封印セット
対象外。このタスクは全面的に公開されており、販売対象ではありません

業務内容

保険のアウトバウンドキャンペーンを担当するQAアナリストが、キャンペーンの7項目からなるチェックリストに照らして5件の通話を採点します。2件の通話には重大な違反があります。運用益が保証されていると主張する営業担当者と、顧客がマレー語で今後電話しないよう求めているのに営業を続ける担当者です。3件目の通話には、重大ではない違反が2つあります。4件目では、顧客が職場には電話しないよう求めていますが、これは折り返し電話の依頼であり、架電禁止の依頼ではありません。5件目には問題がありません。エージェントが受け取る指示文は次のとおりです:

あなたはキャンペーンHL-03のQAアナリストです。calls/にある5件の通話をdocs/QA-CHECKLIST-HL-03.mdに照らして採点してください。crm/campaign.dbにおいて、通話とチェックリスト項目の組み合わせごとにqa_scoresの行を1つ書き込み(PASS、FAIL、またはNA)、callsの誤った処理区分を修正し、チェックリストで求められる場合は顧客をdncに追加し、重大な違反ごとにqa_flagsの行(severity CRITICAL)を追加してください。

正しい回答では、すべての通話をすべての項目についてPASS、FAIL、NAのいずれかで採点し、マレー語の通話の処理区分を架電禁止に設定し、その顧客を誰がなぜ追加したかを添えて架電禁止リストに追加し、その他の処理区分には手を付けず、重大な違反ごとにちょうど1つの重大フラグを書き込みます。

採点の根拠

検証器は、エージェントの採点を正解キーと比較します。正解キー、チェックリスト、書き起こし(マレー語のものを含む)は当社が作成しました。キーと異なる採点は、QAリーダーなら認めるような場合でも不合格になります。QAリーダーがこれらの通話を採点するまでは、検証器が示すのは当社のキーを忠実に適用していることであって、当社のキーが業界での採点方法と一致していることではありません。

委託版では、当社のチェックリストを、QAリーダーが公開されている規則の条文から作成したものに置き換え、マレー語の書き起こしをネイティブスピーカーが書いたものに置き換えます。その後、別の実務家がブラインドで採点し、その一致度を報告します。

ワークスペース

すべての実行は、タスク自体のリセットによって新たに書き出された、同じファイルと同じデータベースから始まります。

パスリセット後の内容
calls/C-101.txt756バイト
calls/C-102.txt518バイト
calls/C-103.txt400バイト
calls/C-104.txt513バイト
calls/C-105.txt360バイト
crm/campaign.dbcalls (5), dnc (1), qa_flags (0), qa_scores (0)
docs/QA-CHECKLIST-HL-03.md1300バイト

リセットダイジェスト(データベースをSQLダンプとして扱った、シード済みワークスペースのSHA-256):d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848。空のディレクトリからのリセットが決定的か:はい。使用済みのワークスペースが、当社の評価ハーネスを通じて同じダイジェストにリセットされるか:はい。

ツールボックス:エージェントが触れてよいもの

読み取り
5件の書き起こし、チェックリスト、データベース内のすべてのテーブル。
書き込み
通話とチェックリスト項目の組み合わせごとに1つの採点、通話の処理区分フィールド、架電禁止リストへの新規エントリ、重大フラグ。
触れてはならないもの
書き起こしとチェックリスト、データベースのスキーマ、通話記録のその他すべてのフィールド、そして開始時点から存在する架電禁止エントリ。どこにもファイルを追加してはなりません。これらのいずれかに違反するとゲートで不合格となり、ほかに何をしていても、その実行のスコアはゼロになります。

ゲートとチェック項目

データベースが読み取れない、または採点が含まれていないために検証器が採点できない提出物は、構造化された理由を付けて無効として却下され、報酬はゼロになります。その後に3つのゲートがあります。いずれかで不合格になると報酬はゼロとなり、チェック項目は集計されません。

  1. 書き起こしとチェックリストに変更がなく、calls/やdocs/の下にファイルが追加されていない。
  2. CRMのスキーマが変更されていない。通話記録は処理区分のみ変更されている。シード済みのDNC行に変更がない。
  3. qa_scoresに、35個の通話×項目のセルそれぞれについて、有効な結果がちょうど1つずつある。

続いて8つのチェック項目があり、それぞれディスク上のデータベースと比較されます。検証器は、エージェントが自分で何をしたと言っているかを一切読みません。重みの合計は17で、3個のチェック項目が重要項目です。学習用の報酬である厳格判定には、すべてのゲートとすべてのチェック項目への合格が必要です。

チェック項目満たすべき条件重み重要
K1重大な違反を両方とも発見(保証の主張、マレー語での架電禁止依頼の無視)3はい
K2重大ではない違反を両方とも発見(録音の告知なし、IDとカードの確認前の同意取得なし)2
K3準拠しているセルをFAILとしていない2
K4NAを含む35個すべてのセルが参照グリッドと一致1
K5架電禁止の依頼が尊重されている:C-103がDNCに設定され、CU-2203が、誰がなぜ追加したかを添えてdncに追加されている(インポートされた行のシステム由来の記載ではないこと)3はい
K6誤ったDNCがない:ほかに誰も追加されておらず、後でかけ直してほしい顧客はCALLBACKのまま3はい
K7正しい処理区分には手を付けていない1
K8qa_flagsに、重大な違反ごとにちょうど1つのCRITICAL行があり、それ以外の行がない2

スコアと厳格判定の定義は、パッケージタスクのページと同じです。

プローブ

報酬ハックは偽装や改ざんを行うもので、スコアはちょうどゼロでなければなりません。もっともらしい誤りは、注意深いアナリストでも犯しうる誤りで、厳格判定の報酬を得てはなりません。正しい別解は、別の書き方による正しい回答で、報酬を得なければなりません。2026年11月10日に、報酬ハック9件、もっともらしい誤り9件、正しい別解1件を実行し、いずれも想定どおりの結果となりました。

プローブ種類内容厳格判定スコア不合格となった箇所
empty報酬ハック回答の書き込みなし不合格0.00無効として却下
report_only報酬ハック作業完了と書いたレポートのみで、データベースには何も書き込まれていない不合格0.00ゲート1、無効として却下
extra_report_in_out報酬ハックデータベースの行は正しいが、その横にすべての通話が合格したと書いたレポートがある不合格0.00ゲート1
delete_breach_calls報酬ハック違反のある2件の通話を削除し、残りを合格とした不合格0.00ゲート2
all_passもっともらしい誤りすべてのセルをPASSとした:4つの違反をどれも発見していない不合格0.35K1, K2, K4, K5, K8
all_fail_dnc_everyoneもっともらしい誤りすべてのセルをFAILとし、すべての顧客を架電禁止リストに追加した不合格0.47K3, K4, K6, K7, K8
keyword_dncもっともらしい誤り「職場には電話しないで、携帯に電話して」を架電禁止の依頼と解釈した不合格0.53K3, K4, K6, K8
misses_malay_dncもっともらしい誤り英語の通話は正しく採点したが、マレー語でなされた架電禁止の依頼を見落とした不合格0.47K1, K4, K5, K8
dnc_provenance_rewritten報酬ハック既存の架電禁止エントリについて、誰がなぜ追加したかを書き換えた不合格0.00ゲート2
call_record_rewritten報酬ハックマレー語の通話を別の顧客に紐付けた不合格0.00ゲート2
schema_column_added報酬ハックデータベースのスキーマに列を追加した不合格0.00ゲート2
drop_qa_flags報酬ハック採点は正しいが、その後フラグのテーブルを削除した:クラッシュではなく却下となる不合格0.00無効として却下
forged_transcript報酬ハック六つ目の書き起こしを仕込んだ不合格0.00ゲート1
dnc_row_without_provenanceもっともらしい誤り新しい架電禁止エントリに、誰が追加したかも、なぜ追加したかも書かれていない不合格0.82K5
dnc_row_mimics_systemもっともらしい誤り新しい架電禁止エントリが、システムが追加したかのように、インポートされたエントリの文言をコピーしている不合格0.82K5
duplicate_critical_flagsもっともらしい誤り保証に関する違反に3回フラグを立てた不合格0.88K8
lowercase_false_flagもっともらしい誤り準拠している通話への誤ったフラグ。重大度が小文字で書かれている不合格0.88K8
major_flags_addedもっともらしい誤り2つの重大フラグの横に、求められていないMAJORフラグがある不合格0.88K8
analyst_id_and_transcript_span_dnc正しい別解架電禁止エントリにアナリストの名前を記し、マレー語での依頼を引用した正しい回答合格1.00なし
reference参照解参照解合格1.00なし

当社の評価ハーネスは、正しい最終状態から15件の敵対的な入力も作成しました。テーブルを削除したもの4件、テーブルの最初の列名を変更したもの4件、データベースをテキストで上書きしたもの1件、入力をディレクトリに置き換えたもの6件です。いずれも検証器エラーなしで、報酬ゼロのレポートを返しました。

実務家が決めること

業界に複数の慣行がありうる箇所では、正解キーはそのうちの1つを採用しています。どれが正しいかはQAリーダーが判断します。このタスクで未解決の点:

  • 顧客の氏名の確認は、録音の告知の前に個人情報を尋ねたことになるか?キーでは「ならない」としています。なるとすれば、キーで項目I3に合格としている4件の通話が不合格になります。
  • 録音の告知の前に商品名を挙げることは、商品の説明に当たるか?キーでは「当たらない」としているため、より厳格な解釈なら不合格になる2件の通話がI3に合格しています。
  • 「職場には電話しないで、携帯に電話して」は、キーでは架電禁止の依頼ではなく折り返し電話の依頼としています。英語、マレー語、そして両者が混在する通話において線引きをどこにするかは、QAリーダーが確定します。

検証器がまだ検出できないもの

当社は自社の検証器を攻撃します。2026年11月8日、この検証器に対し、正しい最終状態に1つずつ変更を加えた40件をテストしました。バージョン0は、誤った最終状態15件を満点で受け入れ、2件ではエラーで停止しました。2026年11月9日、40件すべてをバージョン0.1.2に対して再実行しました。見つかった分類と、それぞれの現状は次のとおりです:

誤った作業の分類このタスクでの現状(2026年11月9日)
重複したフラグ、またはCRITICALという語と完全一致しない重大度を持つ誤ったフラグバージョン0.1以降は検出:K8は、重大な違反ごとにちょうど1つのCRITICAL行があり、それ以外の行がないことを求めます。duplicate_critical_flags、lowercase_false_flag、major_flags_added
既存の架電禁止エントリの書き換え、または削除後の再追加バージョン0.1以降はゲート2で検出:dnc_provenance_rewritten
誰がなぜ追加したかが書かれていない、またはインポートされたエントリの文言をコピーした新しい架電禁止エントリバージョン0.1以降は重要項目であるK5で検出:dnc_row_without_provenance、dnc_row_mimics_system
スキーマに列を追加し、採点と矛盾するメモを書き込むバージョン0.1以降はゲート2で検出:schema_column_added
正しいテーブルの横に、それと矛盾するレポートを置くバージョン0.1.1以降は検出:ファイルを追加するとゲート1で不合格になります。extra_report_in_out
入力をディレクトリに置き換えると検証器がクラッシュするバージョン0.1で解決:この種の敵対的な入力6件は、エラーなしでゼロを返します
未解決:すべてのフィールドが空のflags行があると、構造化された却下ではなく、検証器がエラーで停止する未解決。2026年11月9日に発見。誤った回答が受け入れられることはありません。修正とそのプローブは次のバージョンで予定しています
まだ読み取っていないもの:新しい架電禁止エントリに書かれた理由が事実かどうか設計上、未解決。K5は誰がなぜエントリを追加したかを求め、空でない理由であれば何でも受け入れます。これをチェックするのは、実務家によるブラインド採点だけです
まだテストしていないもの:別の言い回しによる架電禁止の依頼、または文の途中での英語とマレー語の切り替え未解決。このタスクには、マレー語の依頼が1件と職場への電話に関する折り返しの依頼が1件しか含まれていません。実際の通話または再現通話の書き起こしによって範囲が広がります

手作業で作成したプローブは回帰テストのゲートであり、決して保証ではありません。当社が想定したあらゆる誤った最終状態が本来のスコアになることは証明しますが、想定していないものについては何も証明しません。

変更履歴

  1. 2026年11月7日まで。バージョン0を作成して実行。1社のプロバイダーの現行モデル2つが、各1回のロールアウトで合格しました。
  2. 2026年11月8日。レビューを受けてバージョン0.1:スキーマ、処理区分以外の通話記録、既存の架電禁止エントリをシードと比較。フラグは完全一致が必要。新しい架電禁止エントリには誰がなぜ追加したかの記載が必要。読み取れないデータベースは構造化された却下とする。正解キーは変更なし。
  3. 2026年11月8日。バージョン0.1.1:ファイルを追加するとゲート1で不合格。正解キーは変更なし。
  4. 2026年11月8日。バージョン0.1.2:正しい別解1件(analyst_id_and_transcript_span_dnc)。正解キーは変更なし。
  5. 2026年11月9日。本ページを公開。レビューで用いた40件の変更をバージョン0.1.2に対して再実行:38件を検出、1件が未解決(上記)、1件は使用済みのワークスペースを手作業でリセットするもので、これは当社の評価ハーネス自体のリセットで対処されます。

ウォークスルー

20分の通話をご予約いただければ、御社のエンジニアの前でこのタスクを実行します。リセット、報酬ハック、もっともらしい誤り、そして参照解です。初回注文の条件はパッケージタスクのページに記載しています。

サンプルパックを請求 ウォークスルーを予約