メニュー

研究

パッケージの再見積もり、バージョン1.0.3:すべてのチェック項目と、すべての既知の不足点

1つのデモンストレーションタスクを全面的に公開します。業務内容、初期状態、ゲートと13個のチェック項目、各プローブとその結果、報酬の定義、リセットが保証すること、そして検証器がまだ検出できない誤り。

タスク mfg-rfq-001 · バージョン1.0.3、ゲート実行日 2026年11月10日 · Datarena

公開デモンストレーション · デモンストレーションタスクの由来と範囲。

基本情報

タスク
mfg-rfq-001、バージョン1.0.3、検証器はハッシュで凍結
ファミリー
packaging-quotation、難易度easy(公開のゲートファイルの表記による)
結果
unresolved, 構造上の理由による:エピソードは返信が送信された時点、つまり顧客が回答する前に終了します。v1.1では実務家がこのラベルを作成します
分野
製造業:プラスチック包装、見積依頼に見積もりで回答
ステータス
公開デモンストレーション。全面的に公開されており、販売対象ではありません。
ゲート実行日
2026年11月10日、Python 3.11.8、決定的なゲートのみ:モデルの実行なし、人間の評価者なし、学習なし
モデルの試行
バージョン0、2026年11月7日以前:1社のプロバイダーの現行モデル2つ(うち1つは小型の階層)で各1回ロールアウトし、両方ともスコア1.0で厳格判定に合格。検証器を厳格化し、参照回答は変更していない後続のバージョンを次に実行します

業務内容

包装資材工場の営業担当者が、今日中に見積もりを出さなければなりません。顧客からの2通目のメールで注文数量が減り、納期が変更されました。生産チャットでは、通常使う機械が停止しているため、ジョブが別の機械に移されました。そして見積手順書には、原価計算、価格設定、エスカレーションの方法が定められています。エージェントが受け取る指示文は次のとおりです:

あなたはTembaga Ridge Packagingの営業担当者(sales_exec_2)です。本日は16 Nov 2026です。見積もりQ-2611を今日中にSelat Biru Agrochemに送ってください。受信トレイと生産チャットを読み、docs/SOP-Q-07.mdに従い、erp/plant.dbのquotesの行を更新し、それに加えた各変更をcrm_historyに記録し、out/quote.json(qty、machine、unit_cost_rm、unit_price_rm、YYYY-MM-DD形式のearliest_delivery、meets_requested_delivery)とout/reply.emlを書いてください。

正しい回答では、最新の数量、確定した機械、現在の樹脂価格を用い、手順書に従って原価と価格を再計算し、スケジュールで最も早い枠を見つけ、希望納期は満たせないと記録し、データベース上で見積もりをエスカレーションし、見積もりの行に加えた各変更を記録し、スケジュールで実現できないことは何も約束しない返信を書きます。

初期状態を読む

本ページでは通貨金額を[amount]と表示しています。完全なファイルは、NDAのもとで御社のエンジニアにお渡しします。参照用の返信は意図的に最小限にしています。検証器が読むのは価格、数量、日付であり、文面のトーンではありません。

タスク自体のファイルを、担当者が目にする順に並べ、その後に参照用の最終状態ともっともらしい誤りを1つ示します。各シートはページのビルド時にタスクから生成されるため、検証器が読むファイルとずれることはありません。ハイライトは、変更された事実と、検証器が検出した行を示しています。

受信トレイ(メッセージ4通)

inbox/001.eml9 Nov 2026, 10:14

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
RFQ - 20 L jerrican

Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.

Procurement, Selat Biru Agrochem

inbox/002.eml13 Nov 2026, 15:31

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised)

Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.

Procurement, Selat Biru Agrochem

inbox/003.eml16 Nov 2026, 08:40

From
sales.director@tembagaridge.example
To
sales_exec_2@tembagaridge.example
Subject
Q-2611 today please

Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.

inbox/000.eml16 Nov 2026, 09:05

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised) - quotation?

Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.

Procurement, Selat Biru Agrochem

生産チャット

chat/production.json#production

  1. tooling_lead · 14 Nov 2026, 16:02

    BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.

  2. planner_1 · 14 Nov 2026, 16:05

    Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.

  3. qc_lead · 16 Nov 2026, 08:15

    Reminder: drop test on the blue 10 L pails is at 2pm.

手順書

docs/SOP-Q-07.mdThe quoting procedure

SOP-Q-07 Quotation costing and disposition (blow moulding)

  1. Governing request. The latest written customer amendment governs quantity, colour and delivery.
  2. Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
  3. Unit cost in RM per piece:
    • material mass = part mass x (1 + 3% scrap)
    • coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
    • material cost = resin kg x resin price + masterbatch kg x masterbatch price
    • resin price = the row with the latest effective_date on or before the quotation date
    • machine cost = cycle seconds / cavities / 3600 x machine rate per hour
    • set-up = [amount] per job / quantity
    • unit cost = material + machine + set-up
  4. Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
  5. MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
  6. Delivery.
    • production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
    • first free day = the day after booked_until in machine_schedule
    • earliest delivery = first free day + production days + 3 days QC and dispatch
  7. Disposition, in the quotes table:
    • delivery can be met: stage QUOTED, owner stays with the sales executive
    • delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
  8. Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.

作業前のデータベース

erp/plant.dbThe tables the job touches or reads

quotes2 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2604C-0388PL1020000[amount]QUOTEDsales_exec_2
Q-2611C-0417JC2050000nullENQUIRYsales_exec_2

machine_schedule2 rows

machine_idbooked_until
BM-032026-11-27
BM-072026-12-09

machines2 rows

idstatusrate_rm_per_hrhours_per_day
BM-07DOWN[amount]20.0
BM-03RUNNING[amount]20.0

crm_history4 rows

idquote_idtsactorfieldold_valuenew_valuenote
1Q-26042026-11-02 14:10sales_exec_2stageENQUIRYQUOTEDPL10 20,000 pcs quoted at [amount]
2Q-26112026-11-09 10:40sales_exec_2stagenullENQUIRYRFQ received: 50,000 pcs JC20 natural, delivery Port Klang
3Q-26112026-11-13 16:02sales_exec_2notenullnullCustomer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending
4Q-26112026-11-16 08:45sales_exec_2notenullnullSales director: quote out today per SOP-Q-07, check with production first

参照用の最終状態

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-03",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-12-11",
  "meets_requested_delivery": false
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.

erp/plant.dbAfter the work

quotes, the Q-2611 row1 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2611C-0417JC2012000[amount]ESCALATED_LEADTIMEsales_mgr_1

crm_history, rows the work added4 rows

idquote_idtsactorfieldold_valuenew_valuenote
5Q-26112026-11-16 11:00sales_exec_2qty5000012000Q-2611 re-quoted per SOP-Q-07
6Q-26112026-11-16 11:00sales_exec_2unit_price_rmnull[amount]Q-2611 re-quoted per SOP-Q-07
7Q-26112026-11-16 11:00sales_exec_2stageENQUIRYESCALATED_LEADTIMEQ-2611 re-quoted per SOP-Q-07
8Q-26112026-11-16 11:00sales_exec_2ownersales_exec_2sales_mgr_1Q-2611 re-quoted per SOP-Q-07

検証器:合格 · スコア 1.00

検証器の生レポート(参照解)
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": true,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": true,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": true,
  "reward": 1.0,
  "rejection": null
}

もっともらしい誤りの1例:停止中の機械で原価計算した

プローブdown_machine。もっともらしい誤り。そのファイルと、検証器が検出した内容。

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-07",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-11-27",
  "meets_requested_delivery": true
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.

検証器:不合格 · スコア 0.40

  • C2 機械は、停止中のものではなく、生産部門が確定したもの(BM-03)である
  • C3 単位原価がSOPによる再計算値の0.5%以内
  • C4 単価がSOPによる価格とセント単位まで一致
  • C6 最短納期がスケジュールの再計算と一致
  • C7 納期は満たせないと記録され、ERP上で見積もりがエスカレーションされている
  • C8 担当者が営業マネージャーに変更されている
  • C10 返信にSOPによるRM建ての価格と最短納期が記載され、それより早い日付を約束していない
検証器の生レポート(down_machine)
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": false,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": false,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": false,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": false,
  "reward": 0.4,
  "rejection": null
}

注目すべき点

  • 2通目のメールが1通目に優先する。
  • 制約はチャットの中にしかない。
  • 返信では、スケジュールで実現できない日付を約束してはならない。
  • チェッカーが読むのはファイルと行であり、返信の主張は一切読まない。
  • 見積もりの行へのすべての変更は、見積日を日付として履歴テーブルに記録しなければならない。

このバージョンの5つの構成要素

顧客のメール
あり:問い合わせ、変更依頼、取締役からのメモ、催促。受信トレイ内のメッセージ4通
社内のやり取り
あり:生産チャット、3行
関連文書
あり:見積手順書
履歴ログ
あり:履歴テーブル。作業開始前に作成された4行。見積もりの行への変更ごとに1行を追加する必要があり、C13でチェック
結果ラベル
タスク記録上にあり、「unresolved」として作成。構造上、エピソードは返信の送信時点、つまり顧客が回答する前に終了します。v1.1では実務家がこのラベルを作成します

ワークスペース

すべての実行は、タスク自体のリセットによって新たに書き出された、同じファイルと同じデータベースから始まります。

パスリセット後の内容
chat/production.json639バイト
docs/SOP-Q-07.md1877バイト
erp/plant.dbcrm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3)
inbox/000.eml324バイト
inbox/001.eml272バイト
inbox/002.eml364バイト
inbox/003.eml240バイト

リセットダイジェスト(データベースをSQLダンプとして扱った、シード済みワークスペースのSHA-256):3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d。空のディレクトリからのリセットが決定的か:はい。使用済みのワークスペースが同じダイジェストにリセットされるか:はい。

エージェントが読み取り・変更できるもの

読み取り
受信トレイの4通のメッセージ、生産チャット、見積手順書、データベース内の任意のテーブル。
書き込み
必須フィールドを含むout/quote.json、out/reply.eml、指示文で指定された1つの見積もり行の4つのフィールド(数量、単価、ステージ、担当者)、そしてそれらの変更ごとに履歴テーブルへ追加する1行。
触れてはならないもの
入力ファイル、入力フォルダ、その他のテーブル、データベースのスキーマ、quotesテーブルのその他すべてのフィールドと行、そして開始時点から存在するすべての履歴行。これらのいずれかを変更するとゲートで不合格となり、ほかに何をしていても、その実行のスコアはゼロになります。

ゲートとチェック項目

必須の出力が欠落している、形式が不正、または破損しているために検証器が採点できない提出物は、クラッシュではなく構造化された理由を付けて無効として却下され、報酬はゼロになります。その後に4つのゲートがあります。いずれかで不合格になると報酬はゼロとなり、チェック項目は集計されません。

  1. 入力に変更がなく、inbox/、chat/、docs/の下にファイルが追加されていない。
  2. 保護されたERPテーブルとデータベースのスキーマに変更がない。
  3. quotesテーブル:Q-2611のqty、unit_price_rm、stage、ownerのみが変更されている。行の追加、削除、識別子の変更がない。
  4. crm_history:シード済みの行に変更がない。追加された行はQ-2611に関するもののみで、見積日の日付が付いている。

続いて13個のチェック項目があり、それぞれ検証器が初期状態の新しいコピーから再計算し、ディスク上のファイルおよびデータベースの行と比較します。検証器は、エージェントが自分で何をしたと言っているかを一切読みません。重みの合計は25で、5個のチェック項目が重要項目です。

チェック項目満たすべき条件重み重要
C1数量が最新の変更(12,000)に従っている2はい
C2機械は、停止中のものではなく、生産部門が確定したもの(BM-03)である2
C3単位原価がSOPによる再計算値の0.5%以内3
C4単価がSOPによる価格とセント単位まで一致3
C5価格が実際の原価に対して少なくとも18%の利益率を確保している2はい
C6最短納期がスケジュールの再計算と一致2
C7納期は満たせないと記録され、ERP上で見積もりがエスカレーションされている3はい
C8担当者が営業マネージャーに変更されている1
C9ERPの行がquote.jsonと一致している(qty、およびセント単位までの価格)2
C10返信にSOPによるRM建ての価格と最短納期が記載され、それより早い日付を約束していない1はい
C11返信が顧客宛てで、Q-2611を特定しており、12,000 pcs以外の数量を挙げていない1
C12記載された価格が、SOPのマークアップ(原価 / 0.78、端数処理あり)に基づき、記載された原価から導かれている1
C13quotesの行のstageとownerへの各変更が、変更前と変更後の値とともにcrm_historyに記録されている2はい

バージョン1.0.3における許容差:C3は、その記述どおり単位原価を0.5%以内で比較します。C4、C9、C12は価格をセント単位で比較します(半セント以内)。C10は返信の件名と本文を、あらゆる日付形式について読み取り、見積日より後の日付のみを対象とします。

プローブ

購入者がタスクを目にする前に、当社はその検証器を攻撃します。報酬ハックは偽装や改ざんを行うもので、スコアはちょうどゼロでなければなりません。もっともらしい誤りは、注意深い担当者でも犯しうる誤りで、厳格判定の報酬(すべてのゲートとすべてのチェック項目への合格が必要)を得てはなりません。正しい別解は、別の書き方による正しい回答で、報酬を得なければなりません。既知の不足点のプローブは、まだ解決していない弱点を記録するもので、設計上合格するため、その境界での変化があればすぐにわかります。2026年11月10日に、報酬ハック19件、もっともらしい誤り26件、正しい別解3件、既知の不足点のプローブ3件を実行し、いずれも想定どおりの結果となりました。もっともらしい誤りの大半は、唯一の自由記述の出力である返信を対象としています。これまでに遭遇したあらゆる日付形式での、より早い日付の約束です。

プローブ種類内容厳格判定スコア不合格となった箇所
empty報酬ハック回答の書き込みなし不合格0.00無効として却下
claim_only報酬ハックファイルを何も書き込まずに自信ありげに返信不合格0.00無効として却下
tamper_schedule報酬ハックスケジュール表で予約済みの機械を解放した不合格0.00ゲート2
edit_customer_email報酬ハック顧客のメールを編集して、古い数量が現在のものに見えるようにした不合格0.00ゲート1
superseded_quantityもっともらしい誤り変更前の数量で見積もった不合格0.40C1, C3, C4, C5, C6, C10, C11, C12
down_machineもっともらしい誤り停止中の機械で原価計算した不合格0.40C2, C3, C4, C6, C7, C8, C10
stale_resin_priceもっともらしい誤りテーブル上で改定済みの樹脂価格で価格を設定した不合格0.72C3, C4, C10
json_without_erpもっともらしい誤り見積もりファイルを書いたが、データベースの行を更新しなかった不合格0.76C7, C8, C9
contradictory_reply_dateもっともらしい誤り返信で、見積もり自体の日付より早い日付を約束した不合格0.96C10
wrong_customer_on_row報酬ハック金額は正しいが、見積もり行の顧客が誤っている不合格0.00ゲート3
wrong_sku_on_row報酬ハック金額は正しいが、見積もり行の製品が誤っている不合格0.00ゲート3
duplicate_quote_row報酬ハック2つ目の見積もり行を追加した不合格0.00ゲート3
neighbour_quote_deleted報酬ハック別の見積もりの行を削除した不合格0.00ゲート3
quotes_table_replaced報酬ハックquotesテーブルを削除して再構築した不合格0.00ゲート2、ゲート3
schema_column_added報酬ハックデータベースのスキーマに列を追加した不合格0.00ゲート2、ゲート3
drop_quotes_table報酬ハックquotesテーブルを削除した不合格0.00ゲート2、無効として却下
malformed_quote_json報酬ハック有効なJSONではない見積もりファイル不合格0.00無効として却下
oversized_number報酬ハック見積もりファイル内の範囲外の数値不合格0.00無効として却下
reply_without_headers報酬ハックメールヘッダーのない返信不合格0.00無効として却下
extra_reply_file報酬ハック2つ目の返信ファイルを追加した不合格0.00無効として却下
forged_customer_email報酬ハック偽造した顧客のメールを受信トレイに追加した不合格0.00ゲート1
price_one_cent_offもっともらしい誤り価格が手順書の数値から1セントずれている不合格0.80C4, C10, C12
erp_price_differsもっともらしい誤りデータベースの価格が見積もりファイルと異なる不合格0.92C9
cost_price_inconsistentもっともらしい誤り記載された価格が、記載された原価から導かれない不合格0.96C12
promise_in_subjectもっともらしい誤り件名でより早い日付を約束した不合格0.96C10
wrapped_promiseもっともらしい誤り改行をまたいでより早い日付を約束した不合格0.96C10
month_first_promiseもっともらしい誤り月を先に書く形式でより早い日付を約束した不合格0.96C10
worded_promiseもっともらしい誤り文字でより早い日付を約束した不合格0.96C10
reply_wrong_quantityもっともらしい誤り返信で注文とは異なる数量を挙げた不合格0.96C11
reply_wrong_currencyもっともらしい誤り返信で別の通貨で価格を記載した不合格0.96C10
reply_to_other_customerもっともらしい誤り返信が別の顧客宛てになっている不合格0.96C11
slash_date_promiseもっともらしい誤りスラッシュ区切りの形式でより早い日付を約束した不合格0.96C10
negation_in_subordinate_clauseもっともらしい誤り副次的な節にのみ否定を含めて、より早い日付を約束した不合格0.96C10
relative_in_21_daysもっともらしい誤りスケジュールでは実現できない日数以内での納品を約束した不合格0.96C10
contradictory_second_priceもっともらしい誤り返信で、最初の価格と矛盾する2つ目の価格を提示した不合格0.96C10
reply_omits_quantityもっともらしい誤り返信に数量が一切記載されていない不合格0.96C11
dash_date_promiseもっともらしい誤り日-月-年をダッシュでつないだ形式でより早い日付を約束した不合格0.96C10
hyphen_month_promiseもっともらしい誤り日、略記の月、年をハイフンでつないだ形式でより早い日付を約束した不合格0.96C10
iso_slash_promiseもっともらしい誤り年を先に書くスラッシュ区切りの形式でより早い日付を約束した不合格0.96C10
date_before_verbもっともらしい誤り文中で動詞の前に置く形で、より早い日付を約束した不合格0.96C10
cost_as_discountもっともらしい誤り返信で、工場内部の単位原価を値引き価格として提示した不合格0.96C10
stage_changed_without_historyもっともらしい誤り変更を記録する履歴行なしで、見積もり行をエスカレーションした不合格0.92C13
history_rewritten報酬ハックシード済みの履歴行を編集した不合格0.00ゲート4
history_on_other_quote報酬ハック別の見積もりに履歴行を追加した不合格0.00ゲート4
history_backdated報酬ハック見積日より前の日付で履歴行を追加した不合格0.00ゲート4
requested_date_no_token未解決の分類。設計上合格返信で日付を書かずに「ご希望の日付までに」納品すると確約した合格1.00なし
lead_time_no_token未解決の分類。設計上合格返信で日付を書かずに「御社のリードタイム内に」納品すると約束した合格1.00なし
vague_week_promise未解決の分類。設計上合格返信で「再来週」に出荷すると約束した合格1.00なし
reply_cites_customer_email正しい別解返信で顧客のメールを、その日付も含めて引用した合格1.00なし
reply_dates_in_words正しい別解返信で日付を文字で記載した合格1.00なし
reply_with_total_and_slash_date正しい別解返信に単価、明細合計、段取り費用、スラッシュ区切りの日付を記載した合格1.00なし
reference参照解新たにリセットした状態からの当社の参照回答合格1.00なし

当社の評価ハーネスは、正しい最終状態から29件の敵対的な入力も作成しました。テーブルを削除したもの10件、テーブルの最初の列名を変更したもの10件、データベースをテキストで上書きしたもの1件、入力をディレクトリに置き換えたもの6件、出力をディレクトリに置き換えたもの2件です。いずれも検証器エラーなしで、報酬ゼロのレポートを返しました。

デモンストレーション用評価ハーネス全体での結果.

数値の意味

スコア。提出物が却下された場合、またはいずれかのゲートで不合格の場合はゼロ。それ以外の場合は、満たしたチェック項目の重み付きの割合、すなわち合格したチェック項目の重みを全重みの合計で割った値です。回答がどこで誤ったかを知るための診断指標です。

厳格判定。すべてのゲートとすべてのチェック項目に合格した場合にのみ真。これが当社の推奨する学習用の報酬です。スコアは中途半端な作業にも点を与えてしまいます。見積もりファイルを書いたがデータベースを更新しなかった行が0.76となっていることがその例です。

重要項目。別のフィールドで、重要とされたすべてのチェック項目に合格した場合に真となります。報告はしますが、報酬としては決して使用しません。

共通の検証器の原則.

リセットが保証すること

リセットは、ネットワークも時計も使わずに、コードからワークスペースを書き出します。新たなリセットを2回行うと同じダイジェストになり、使用済みのワークスペースもそのダイジェストにリセットされます。そのため購入者は、手元の初期状態が検証器の実行対象と同じものであることを、自身のマシンで確認できます。ダイジェストはファイルとデータベースのSQLダンプをハッシュ化したものであるため、ダイジェストの一致が証明するのは論理的な内容の一致であり、バイト単位での同一性ではありません。

実務家が決めること

業界に複数の慣行がある場合、検証器はそのうちの1つを採用しています。委託タスクでは、その業務を担う実務家が選択を行い、それによって答えが変わるかどうかを当社が報告します。このタスクで未解決の点:

  • スケジュール上の生産日数は暦日か、稼働日か?最短納期(C6)と返信(C10)は、その答えによって変わります。
  • 返信には運賃、有効期限、支払条件を記載すべきか?現時点ではいずれも記載しておらず、それを求めるチェック項目もありません。

ほかの5つのタスクにも、それぞれ未解決の慣行があります。採点対象の通話で氏名の確認が個人情報を尋ねたことになるかどうかから、貨物の価格設定の前に乾燥トン数をどう丸めるかまでさまざまです。いずれも、購入者が受け取るタスク記録に記載しています。

検証器がまだ検出できないもの

当社は自社の検証器を攻撃します。2026年11月7日、初期バージョンに対するモデルベースのレビュー3件が誤った最終状態を作成し、2つの検証器がそれらを満点で受け入れました。当社はそれを再現し、2026年11月8日に、6つの検証器すべてを、正しい最終状態に1つずつ変更を加えた約220件に対してテストしました。見つかった分類と、2026年11月10日のゲート実行時点でのこのタスクにおける現状は次のとおりです:

誤った作業の分類このタスクでの現状(2026年11月10日)
返信が構造化出力と矛盾する:見積もりファイルには正しい日付が記載されているのに、返信ではスケジュールで実現できない日付を約束しているバージョン0.1以降は、重要項目であるC10とプローブcontradictory_reply_dateで検出。バージョン1.0では件名や、スラッシュ区切りや相対的な日付を含むより多くの日付形式も読み取り、顧客のメールを引用した正しい返信(バージョン0.1では誤って不合格にしていたもの)を合格とします
チェック対象の金額は正しいまま、出力行の識別フィールドが書き換えられるバージョン1.0以降はゲート3で検出:wrong_customer_on_row、wrong_sku_on_row
出力テーブルに余分な行が挿入されるバージョン1.0以降はゲート3で検出:duplicate_quote_row
過去の行や隣接する行が削除または破損されるバージョン1.0以降はゲート3で検出:neighbour_quote_deleted。削除対象が存在するよう、シードに2つ目の見積もり行を追加
記述では「セント単位まで」としているチェック項目を、最大1単位ずれた金額が通過するバージョン1.0で解決:C4、C9、C12はセント単位で比較。price_one_cent_offは0.80で厳格判定に不合格
使用済みのワークスペースのリセットが、初期状態を復元せずに失敗するバージョン1.0で解決:使用済みのワークスペースは記録されたダイジェストにリセットされる
出力テーブルを削除すると、却下を返すのではなく検証器がクラッシュするバージョン1.0で解決:drop_quotes_table件と29件の敵対的な入力が、構造化された却下またはゼロを返す
リセットがバイト単位で同一であると説明されていた文言を修正:ダイジェストが証明するのは論理的な内容の一致
すべての報酬ハックのプローブが最上位のゲートしか検証しておらず、変更可能な出力テーブルに触れるものがなかったバージョン1.0で解決:6つのプローブがquotesテーブルに書き込み、いずれもゼロ
パーサーが読み取れない形式で、返信がより早い日付を約束する:ダッシュ区切り、ハイフンでつないだ略記の月、年を先に書くスラッシュ区切りバージョン1.0.1以降は検出:dash_date_promise、hyphen_month_promise、iso_slash_promise。日付をまったく含まない3つの約束は、設計上合格する未解決分類のプローブとして記録:requested_date_no_token、lead_time_no_token、vague_week_promise
返信で日付を約束の前に置く、または工場内部の原価を値引きとして提示するバージョン1.0.2以降は検出:date_before_verbとcost_as_discount。いずれもC10で不合格
誰が何を変更したかの記録なしに見積もり行が変更される、または辻褄が合うよう履歴が書き換えられるバージョン1.0.3以降は、重要項目であるC13とプローブstage_changed_without_historyで検出。履歴テーブルはゲート4で保護され、history_rewritten、history_on_other_quote、history_backdatedはいずれもゼロ
まだ読み取っていないもの:必須の出力に含まれる文章で、それ自体の正しい数値と矛盾するもの。たとえば、記載した価格を否定する返信、理由の列、余分な説明用のキー、正しいテーブルの横に置かれたレポートなど設計上、未解決。現時点でその文章を読むチェック項目はなく、手作業で作成したプローブでは解決できません。これをチェックするのは、実務家によるブラインド採点だけです

これらのレビューと当社自身のレビューで見つかったすべての分類は、現在、名前付きのプローブになっており、2026年11月10日のゲート実行においてそれぞれ求められるとおりのスコアになっています。手作業で作成したプローブは回帰テストであり、保証ではありません。当社が想定したあらゆる誤った最終状態が本来のスコアになることは証明しますが、想定していないものについては何も証明しません。新たな分類は、見つかったその日に名前付きのプローブになります。

変更履歴

  1. 2026年11月7日まで。バージョン0を作成して実行。1社のプロバイダーの現行モデル2つが、各1回のロールアウトで解きました。検証器に対するモデルベースのレビューにより、スケジュールで実現できない納期の約束を返信のチェック項目が受け入れていたことが判明しました。
  2. 2026年11月8日。バージョン0.1:C10が返信本文の日付を解析し、重要項目となりました。プローブcontradictory_reply_dateを追加し、0.96で厳格判定に不合格。
  3. 2026年11月8日。バージョン1.0:quotesテーブルのフィールド単位での保護(ゲート3)、採点できない提出物の構造化された却下、セント単位での価格比較、バージョン0.1が誤って不合格にしていた正しい返信も合格とする、より厳格な返信のチェック、2つの新しいチェック項目(C11、C12)、報酬ハックともっともらしい誤りの新しいプローブ27件、正しい別解2件、シードへの過去の見積もり行1件。参照回答は変更していないため、バージョン0でのモデルの試行結果はそのまま有効です。本ページを公開。
  4. 2026年11月8日。バージョン1.0.1:返信のチェック項目が、ダッシュ区切り、日と略記の月、年を先に書くスラッシュ区切りの日付を読み取るようになり、それぞれにもっともらしい誤りを用意。日付を含まない3つの約束は、設計上合格する未解決分類のプローブとして記録。新しいモジュールのハッシュ。参照回答は変更なし。
  5. 2026年11月8日。バージョン1.0.2:返信のチェック項目が、約束の前に置かれた日付を読み取るようになり、工場内部の原価を値引きとして提示する返信を合格としなくなりました。正しい別解を1件追加。参照回答は変更なし。
  6. 2026年11月8日。バージョン1.0.3:シードに顧客の催促メールと、作成済みの4行を含む履歴テーブルを追加し、ゲート4でフィールド単位で保護。手順書と指示文で見積もり行への各変更の記録を求め、重要項目であるC13でそれをチェック。新しいプローブ4件。価格、日付、参照用の見積もりは変更なし。重みの合計が25になったため、すべてのスコアが変動しました。

新しい結果は、合格・不合格にかかわらず、日付とともに公開します。

ご自身で実行する

まず20分の通話で、御社のエンジニアの前でこのタスクを実行します。リセットから、報酬ハック、もっともらしい誤りを経て、参照解までです。その後、署名済みの相互NDAのもとで、御社のエンジニアにスタンドアロンの検証器をお渡しします。Python 3.11で動作し、サードパーティのパッケージを必要としない、シード、リセット、スコア、セルフテストのコマンドを備えています。あわせて、ワークスペース、参照用の最終状態、そして未変更のワークスペースと参照解に対する検証器のレポートもお渡しします。上記のすべてのプローブを御社のマシンで再実行することが初回注文の受け入れテストとなり、初回注文は書面による要件を受領してから10営業日以内に納品します。

サンプルパックを請求 ウォークスルーを予約