選單

研究

包裝重新報價,版本 1.0.3:每個檢查項目,以及每個已知不足

一個完整公開的示範任務:工作內容、起始狀態、門檻檢查與十三個檢查項目、每個探針及其結果、獎勵的定義方式、重設所保證的內容,以及驗證器目前尚未能抓出的錯誤。

任務 mfg-rfq-001・版本 1.0.3,門檻檢查執行於 2026年11月10日・Datarena

公開示範・示範任務的來源與範圍。

基本資料

任務
mfg-rfq-001,版本 1.0.3,驗證器以雜湊值凍結
類別
packaging-quotation,難度 easy,依公開門檻檢查檔案的標示
結果
unresolved, 由設計決定:回覆一經送出,本回合即結束,此時客戶尚未回答;在 v1.1 中由業界專家撰寫該標籤
領域
製造業:塑膠包裝,以報價單回覆報價請求
狀態
公開示範;已完整公開,不對外銷售。
門檻檢查執行
2026年11月10日,Python 3.11.8,僅執行確定性的門檻檢查:無模型執行、無人工評分人員、無訓練
模型嘗試
版本 0,2026年11月7日或之前:來自同一供應商的兩個現行模型(其中一個為其小型級別),各執行一次 rollout,兩者皆得分 1.0 並嚴格通過。後續版本收緊了驗證器、參考答案維持不變,接著將執行

工作內容

一家包裝工廠的業務主管必須在今天送出報價。客戶的第二封電子郵件減少了訂購量並更改了交貨日期;生產端的聊天訊息因為常用的機台停機,將這項工作移到另一台機台;而報價作業程序則說明了如何計算成本、定價與呈報上級。AI 代理收到的指示如下:

你是 Tembaga Ridge Packaging 的業務主管(sales_exec_2)。今天是 16 Nov 2026。請在今天將報價 Q-2611 送給 Selat Biru Agrochem。閱讀收件匣與生產端聊天訊息,遵循 docs/SOP-Q-07.md,更新 erp/plant.db 中的 quotes 資料列,將你對它所做的每一項變更記錄在 crm_history 中,並寫出 out/quote.json(qty、machine、unit_cost_rm、unit_price_rm、以 YYYY-MM-DD 表示的 earliest_delivery、meets_requested_delivery)與 out/reply.eml。

正確答案會採用最新的數量、已確認的機台與目前的樹脂價格,依作業程序重新計算成本與價格,在排程中找出最早的空檔,將客戶要求的日期標記為無法達成,在資料庫中將報價呈報上級,記錄其對報價資料列所做的每一項變更,並寫出一封不承諾任何排程無法達成之事的回覆。

閱讀起始狀態

本頁中的金額以 [amount] 顯示;完整檔案會在簽署 NDA 後提供給您的工程師。參考回覆刻意保持精簡:驗證器讀取的是其中的價格、數量與日期,而非語氣。

任務本身的檔案,依工作人員接觸到的順序排列,之後是參考最終狀態與一個看似合理的錯誤。每一頁都是在建置網頁時從任務本身生成的,因此不會與驗證器讀取的檔案產生出入。螢光標記標出了已變更的事實,以及驗證器抓到的那一行。

收件匣,四封訊息

inbox/001.eml9 Nov 2026, 10:14

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
RFQ - 20 L jerrican

Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.

Procurement, Selat Biru Agrochem

inbox/002.eml13 Nov 2026, 15:31

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised)

Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.

Procurement, Selat Biru Agrochem

inbox/003.eml16 Nov 2026, 08:40

From
sales.director@tembagaridge.example
To
sales_exec_2@tembagaridge.example
Subject
Q-2611 today please

Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.

inbox/000.eml16 Nov 2026, 09:05

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised) - quotation?

Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.

Procurement, Selat Biru Agrochem

生產端聊天訊息

chat/production.json#production

  1. tooling_lead · 14 Nov 2026, 16:02

    BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.

  2. planner_1 · 14 Nov 2026, 16:05

    Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.

  3. qc_lead · 16 Nov 2026, 08:15

    Reminder: drop test on the blue 10 L pails is at 2pm.

作業程序

docs/SOP-Q-07.mdThe quoting procedure

SOP-Q-07 Quotation costing and disposition (blow moulding)

  1. Governing request. The latest written customer amendment governs quantity, colour and delivery.
  2. Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
  3. Unit cost in RM per piece:
    • material mass = part mass x (1 + 3% scrap)
    • coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
    • material cost = resin kg x resin price + masterbatch kg x masterbatch price
    • resin price = the row with the latest effective_date on or before the quotation date
    • machine cost = cycle seconds / cavities / 3600 x machine rate per hour
    • set-up = [amount] per job / quantity
    • unit cost = material + machine + set-up
  4. Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
  5. MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
  6. Delivery.
    • production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
    • first free day = the day after booked_until in machine_schedule
    • earliest delivery = first free day + production days + 3 days QC and dispatch
  7. Disposition, in the quotes table:
    • delivery can be met: stage QUOTED, owner stays with the sales executive
    • delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
  8. Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.

作業前的資料庫

erp/plant.dbThe tables the job touches or reads

quotes2 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2604C-0388PL1020000[amount]QUOTEDsales_exec_2
Q-2611C-0417JC2050000nullENQUIRYsales_exec_2

machine_schedule2 rows

machine_idbooked_until
BM-032026-11-27
BM-072026-12-09

machines2 rows

idstatusrate_rm_per_hrhours_per_day
BM-07DOWN[amount]20.0
BM-03RUNNING[amount]20.0

crm_history4 rows

idquote_idtsactorfieldold_valuenew_valuenote
1Q-26042026-11-02 14:10sales_exec_2stageENQUIRYQUOTEDPL10 20,000 pcs quoted at [amount]
2Q-26112026-11-09 10:40sales_exec_2stagenullENQUIRYRFQ received: 50,000 pcs JC20 natural, delivery Port Klang
3Q-26112026-11-13 16:02sales_exec_2notenullnullCustomer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending
4Q-26112026-11-16 08:45sales_exec_2notenullnullSales director: quote out today per SOP-Q-07, check with production first

參考最終狀態

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-03",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-12-11",
  "meets_requested_delivery": false
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.

erp/plant.dbAfter the work

quotes, the Q-2611 row1 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2611C-0417JC2012000[amount]ESCALATED_LEADTIMEsales_mgr_1

crm_history, rows the work added4 rows

idquote_idtsactorfieldold_valuenew_valuenote
5Q-26112026-11-16 11:00sales_exec_2qty5000012000Q-2611 re-quoted per SOP-Q-07
6Q-26112026-11-16 11:00sales_exec_2unit_price_rmnull[amount]Q-2611 re-quoted per SOP-Q-07
7Q-26112026-11-16 11:00sales_exec_2stageENQUIRYESCALATED_LEADTIMEQ-2611 re-quoted per SOP-Q-07
8Q-26112026-11-16 11:00sales_exec_2ownersales_exec_2sales_mgr_1Q-2611 re-quoted per SOP-Q-07

驗證器:通過・分數 1.00

原始驗證器報告,參考解法
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": true,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": true,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": true,
  "reward": 1.0,
  "rejection": null
}

一個看似合理的錯誤:以停機中的機台計算成本

探針 down_machine。看似合理的錯誤。其檔案,以及驗證器抓到的問題。

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-07",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-11-27",
  "meets_requested_delivery": true
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.

驗證器:未通過・分數 0.40

  • C2 機台為生產端確認的機台(BM-03),而非停機中的機台
  • C3 單位成本與依 SOP 重新計算的結果相差在 0.5% 以內
  • C4 單價與 SOP 價格完全相同,精確到分
  • C6 最早交貨日期與依排程重新計算的結果相符
  • C7 交貨標記為無法達成,且報價已在 ERP 中呈報上級
  • C8 負責人已改派給業務經理
  • C10 回覆以 RM 載明 SOP 價格與最早交貨日期,且未承諾任何更早的日期
原始驗證器報告,down_machine
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": false,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": false,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": false,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": false,
  "reward": 0.4,
  "rejection": null
}

值得注意之處

  • 第二封電子郵件取代了第一封。
  • 限制條件只出現在聊天訊息中。
  • 回覆不得承諾排程無法達成的日期。
  • 檢查程式讀取的是檔案與資料列,從不讀取回覆中的聲稱。
  • 對報價資料列的每一項變更,都必須記錄在歷程資料表中,日期為報價日期。

此版本中的五個部分

客戶電子郵件
已包含:詢價、修改、主管的備註與催促信,收件匣中共四封訊息
內部討論
已包含:生產端聊天訊息,共三行
相關文件
已包含:報價作業程序
歷程紀錄
已包含:歷程資料表,在作業開始前有四筆撰寫好的資料列。對報價資料列的每一項變更都必須新增一筆,由 C13 檢查
結果標籤
存在於任務紀錄中,撰寫為「unresolved」。這是由設計所決定的:該回合在回覆送出時即結束,客戶尚未答覆;在 v1.1 中由業界專家撰寫此標籤

工作區

每次執行都從相同的檔案與相同的資料庫開始,由任務本身的重設程序重新寫入。

路徑重設後的內容
chat/production.json639 位元組
docs/SOP-Q-07.md1877 位元組
erp/plant.dbcrm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3)
inbox/000.eml324 位元組
inbox/001.eml272 位元組
inbox/002.eml364 位元組
inbox/003.eml240 位元組

重設摘要值,即種子工作區的 SHA-256(資料庫以其 SQL 傾印計算):3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d。從空目錄重設是否具確定性:是。使用過的工作區重設後是否得到相同的摘要值:是。

AI 代理可以讀取與變更的內容

讀取
四封收件匣訊息、生產端聊天訊息、報價作業程序,以及資料庫中的任何資料表。
寫入
含必要欄位的 out/quote.json、out/reply.eml、指示中指定的那一筆報價資料列的四個欄位:數量、單價、階段與負責人,以及針對上述每一項變更在歷程資料表中新增的一筆資料列。
不得觸及
輸入檔案、輸入資料夾、其他資料表、資料庫結構描述、quotes 資料表的其他所有欄位與資料列,以及起始時就已存在的每一筆歷程資料列。只要上述任何內容有變更,即未通過門檻檢查,無論該次執行做了什麼,都以零分計。

門檻檢查與檢查項目

驗證器無法評分的提交(因必要輸出缺少、格式錯誤或損壞)會被判定為無效而拒絕,獎勵為零,並附上結構化的原因,而不會當機。接著是四項門檻檢查。任一項未通過,獎勵即為零,且不計入任何檢查項目。

  1. 輸入未被更動,且 inbox/、chat/ 或 docs/ 下未新增任何檔案。
  2. 受保護的 ERP 資料表與資料庫結構描述未被更動。
  3. quotes 資料表:只有 Q-2611 的 qty、unit_price_rm、stage 與 owner 有變更;沒有新增、移除或重新識別任何資料列。
  4. crm_history:種子資料列未被更動;只針對 Q-2611 附加資料列,且日期為報價日期。

接著是十三個檢查項目,每一個都由驗證器從一份全新的起始狀態副本重新計算,並與磁碟上的檔案與資料庫資料列比對。驗證器從不讀取 AI 代理聲稱自己做了什麼。權重總和為 25;其中 5 個檢查項目為關鍵。

檢查項目必須成立的條件權重關鍵
C1數量依循最新的變更(12,000)2是
C2機台為生產端確認的機台(BM-03),而非停機中的機台2
C3單位成本與依 SOP 重新計算的結果相差在 0.5% 以內3
C4單價與 SOP 價格完全相同,精確到分3
C5價格相對於真實成本至少保有 18% 的毛利率2是
C6最早交貨日期與依排程重新計算的結果相符2
C7交貨標記為無法達成,且報價已在 ERP 中呈報上級3是
C8負責人已改派給業務經理1
C9ERP 資料列與 quote.json 一致(數量,以及精確到分的價格)2
C10回覆以 RM 載明 SOP 價格與最早交貨日期,且未承諾任何更早的日期1是
C11回覆的收件對象為該客戶、標明 Q-2611,且未提及 12,000 pcs 以外的任何數量1
C12所載價格依 SOP 加成方式由所載成本推得(cost / 0.78,經四捨五入)1
C13quotes 資料列中階段與負責人的每一項變更,都記錄在 crm_history 中,並附上新舊值2是

版本 1.0.3 中的容許誤差:C3 依其文字所述,比對單位成本是否相差在 0.5% 以內;C4、C9 與 C12 比對價格是否精確到分(相差半分以內);C10 讀取回覆的主旨與內文、所有日期格式,且只讀取報價日期之後的日期。

探針

在買方看到任務之前,我們會先攻擊其驗證器。獎勵作弊是偽造或竄改,必須恰好得到零分。看似合理的錯誤,是細心的工作人員也可能犯下的錯誤;它不得獲得嚴格獎勵,而嚴格獎勵需要通過每項門檻檢查與每個檢查項目。正確的替代解法,是以另一種方式寫出的正確答案;它必須獲得嚴格獎勵。已知不足探針記錄的是我們尚未補上的弱點:它依設計會通過,因此該邊界上的任何變化都會顯現出來。19 個獎勵作弊、26 個看似合理的錯誤、3 個正確的替代解法與 3 個已知不足探針已於 2026年11月10日 執行,每一個都得到預期的結果。大多數看似合理的錯誤都針對回覆這個唯一的自由文字輸出:以我們遇過的每一種日期格式,承諾一個更早的日期。

探針類型做了什麼嚴格分數未通過的項目
empty獎勵作弊未寫入任何答案未通過0.00判定為無效而拒絕
claim_only獎勵作弊語氣肯定的回覆,但未寫入任何檔案未通過0.00判定為無效而拒絕
tamper_schedule獎勵作弊在排程表中釋放了已預約的機台未通過0.00門檻檢查 2
edit_customer_email獎勵作弊編輯客戶的電子郵件,讓舊數量看起來像是目前的數量未通過0.00門檻檢查 1
superseded_quantity看似合理的錯誤依已被取代的數量報價未通過0.40C1, C3, C4, C5, C6, C10, C11, C12
down_machine看似合理的錯誤以停機中的機台計算成本未通過0.40C2, C3, C4, C6, C7, C8, C10
stale_resin_price看似合理的錯誤以資料表中已被取代的樹脂價格定價未通過0.72C3, C4, C10
json_without_erp看似合理的錯誤寫出報價檔案,但從未更新資料庫資料列未通過0.76C7, C8, C9
contradictory_reply_date看似合理的錯誤回覆承諾的日期早於報價本身的日期未通過0.96C10
wrong_customer_on_row獎勵作弊金額正確,但報價資料列上的客戶錯誤未通過0.00門檻檢查 3
wrong_sku_on_row獎勵作弊金額正確,但報價資料列上的產品錯誤未通過0.00門檻檢查 3
duplicate_quote_row獎勵作弊新增了第二筆報價資料列未通過0.00門檻檢查 3
neighbour_quote_deleted獎勵作弊刪除了另一筆報價的資料列未通過0.00門檻檢查 3
quotes_table_replaced獎勵作弊刪除 quotes 資料表後重建未通過0.00門檻檢查 2、門檻檢查 3
schema_column_added獎勵作弊在資料庫結構描述中新增了一個欄位未通過0.00門檻檢查 2、門檻檢查 3
drop_quotes_table獎勵作弊刪除了 quotes 資料表未通過0.00門檻檢查 2,判定為無效而拒絕
malformed_quote_json獎勵作弊不是有效 JSON 的報價檔案未通過0.00判定為無效而拒絕
oversized_number獎勵作弊報價檔案中有超出範圍的數字未通過0.00判定為無效而拒絕
reply_without_headers獎勵作弊沒有電子郵件標頭的回覆未通過0.00判定為無效而拒絕
extra_reply_file獎勵作弊新增了第二個回覆檔案未通過0.00判定為無效而拒絕
forged_customer_email獎勵作弊在收件匣中新增了一封偽造的客戶電子郵件未通過0.00門檻檢查 1
price_one_cent_off看似合理的錯誤價格與作業程序的數字相差一分未通過0.80C4, C10, C12
erp_price_differs看似合理的錯誤資料庫中的價格與報價檔案不同未通過0.92C9
cost_price_inconsistent看似合理的錯誤所載價格無法由所載成本推得未通過0.96C12
promise_in_subject看似合理的錯誤在主旨行中承諾了更早的日期未通過0.96C10
wrapped_promise看似合理的錯誤跨越換行承諾了更早的日期未通過0.96C10
month_first_promise看似合理的錯誤以月份在前的格式承諾了更早的日期未通過0.96C10
worded_promise看似合理的錯誤以文字承諾了更早的日期未通過0.96C10
reply_wrong_quantity看似合理的錯誤回覆提及訂單以外的數量未通過0.96C11
reply_wrong_currency看似合理的錯誤回覆以其他幣別載明價格未通過0.96C10
reply_to_other_customer看似合理的錯誤回覆的收件對象為另一位客戶未通過0.96C11
slash_date_promise看似合理的錯誤以斜線格式承諾了更早的日期未通過0.96C10
negation_in_subordinate_clause看似合理的錯誤承諾了更早的日期,且否定詞只出現在附屬子句中未通過0.96C10
relative_in_21_days看似合理的錯誤承諾在排程無法達成的天數內交貨未通過0.96C10
contradictory_second_price看似合理的錯誤回覆提出了與第一個價格相矛盾的第二個價格未通過0.96C10
reply_omits_quantity看似合理的錯誤回覆從未載明數量未通過0.96C11
dash_date_promise看似合理的錯誤以日-月-年並以連字號分隔的格式承諾了更早的日期未通過0.96C10
hyphen_month_promise看似合理的錯誤以日、月份縮寫與年份並以連字號連接的格式承諾了更早的日期未通過0.96C10
iso_slash_promise看似合理的錯誤以年份在前的斜線格式承諾了更早的日期未通過0.96C10
date_before_verb看似合理的錯誤承諾了更早的日期,且日期在句中位於動詞之前未通過0.96C10
cost_as_discount看似合理的錯誤回覆將工廠內部的單位成本當作折扣價提出未通過0.96C10
stage_changed_without_history看似合理的錯誤報價資料列已呈報上級,但沒有任何歷程資料列記錄此變更未通過0.92C13
history_rewritten獎勵作弊編輯了一筆種子歷程資料列未通過0.00門檻檢查 4
history_on_other_quote獎勵作弊在另一筆報價下附加了歷程資料列未通過0.00門檻檢查 4
history_backdated獎勵作弊附加了一筆日期早於報價日期的歷程資料列未通過0.00門檻檢查 4
requested_date_no_token未解決類別,依設計會通過回覆確認將「by your requested date」(在您要求的日期之前)交貨,但未寫出任何日期通過1.00無
lead_time_no_token未解決類別,依設計會通過回覆承諾「within your lead time」(在您的交期之內)交貨,但未寫出任何日期通過1.00無
vague_week_promise未解決類別,依設計會通過回覆承諾「the week after next」(下下週)出貨通過1.00無
reply_cites_customer_email正確的替代解法回覆引用了客戶的電子郵件,包括其中的日期通過1.00無
reply_dates_in_words正確的替代解法回覆以文字寫出日期通過1.00無
reply_with_total_and_slash_date正確的替代解法回覆載明單價、該行總額、設定費,以及斜線格式的日期通過1.00無
reference參考解法我們的參考答案,從全新重設開始通過1.00無

我們的測試框架也從一個正確的最終狀態建立了 29 個惡意輸入:10 個刪除了一個資料表、10 個將資料表的第一個欄位重新命名、一個將資料庫以文字覆寫、6 個將某個輸入替換為目錄、2 個將某個輸出替換為目錄。每一個都回傳了獎勵為零的報告,且未發生驗證器錯誤。

整個示範評測框架的結果.

數字的意義

分數。若提交被拒絕或任何門檻檢查未通過,即為零。否則為已達成檢查項目的加權比例:通過的檢查項目權重,除以所有權重的總和。它是用來診斷答案錯在哪裡的指標。

嚴格通過。只有在每項門檻檢查與每個檢查項目都通過時才為真。這是我們建議的訓練獎勵:分數會為只完成一半的工作給分,正如那個寫出報價檔案卻從未更新資料庫的資料列,得分為 0.76。

關鍵。一個獨立欄位,當每個標記為關鍵的檢查項目都通過時為真。此欄位會報告,但從不作為獎勵使用。

共通的驗證器原則.

重設所保證的內容

重設以程式碼寫入工作區,不使用網路,也不使用時鐘。兩次全新重設會產生相同的摘要值,使用過的工作區重設後也會得到該摘要值,因此買方可以在自己的機器上確認,手上的起始狀態就是驗證器執行時所針對的那一個。摘要值是對檔案與資料庫的 SQL 傾印進行雜湊,因此摘要值相符證明的是邏輯內容相符,而非位元組完全相同。

需由業界專家定奪的事項

在業界有不只一種慣例之處,驗證器只編入其中一種。在委託製作的任務中,由實際從事這項工作的業界專家做出選擇,我們再報告這是否會改變答案。本任務尚待確認的事項:

  • 排程中的生產天數是日曆天還是工作天?最早交貨日期(C6)與回覆(C10)會隨答案而改變。
  • 回覆是否應載明運費、報價有效期與付款條件?目前回覆完全未載明,也沒有任何檢查項目要求。

其他五個任務也各有尚待確認的慣例,從評分通話中確認姓名是否算是詢問個人資料,到貨物定價前乾噸數如何進位。每一項都列在買方收到的任務紀錄中。

驗證器目前尚未能抓出的問題

我們會攻擊自己的驗證器。2026年11月7日,針對最初版本進行的三次模型審查建立了錯誤的最終狀態,其中兩個驗證器以滿分接受了它們。我們重現了這些情況,並於 2026年11月8日,以對正確最終狀態所做的約 220 個單一變更,測試了全部六個驗證器。發現的類別,以及它們在 2026年11月10日 執行的門檻檢查中、於本任務上的狀態如下:

錯誤工作的類別本任務的狀態,2026年11月10日
回覆與結構化輸出相矛盾:報價檔案載明正確日期,回覆卻承諾了排程無法達成的日期自版本 0.1 起已能抓出:C10(關鍵)與探針 contradictory_reply_date。版本 1.0 也會讀取主旨行與更多日期格式(包括斜線與相對日期),並讓引用客戶電子郵件的正確回覆通過,而版本 0.1 曾錯誤地判定其未通過
輸出資料列上的識別欄位被改寫,而受檢查的金額仍然正確自版本 1.0 起由門檻檢查 3 抓出:wrong_customer_on_row、wrong_sku_on_row
在輸出資料表中插入額外的資料列自版本 1.0 起由門檻檢查 3 抓出:duplicate_quote_row
歷史或相鄰的資料列被刪除或損毀自版本 1.0 起由門檻檢查 3 抓出:neighbour_quote_deleted,並在種子中新增了第二筆報價資料列,讓刪除有對象可刪
金額相差最多一個單位,卻通過了文字寫明「精確到分」的檢查項目已於版本 1.0 修正:C4、C9 與 C12 比對至分;price_one_cent_off 以 0.80 嚴格未通過
使用過的工作區重設失敗,而未能還原起始狀態已於版本 1.0 修正:使用過的工作區會重設為記錄的摘要值
刪除輸出資料表會使驗證器當機,而非回傳拒絕已於版本 1.0 修正:drop_quotes_table 與 29 個惡意輸入會回傳結構化的拒絕或零分
重設曾被描述為逐位元組完全相同措辭已更正:摘要值證明的是邏輯內容相符
每個獎勵作弊探針都只觸及最上層的門檻檢查;沒有一個觸及可變更的輸出資料表已於版本 1.0 修正:有六個探針會寫入 quotes 資料表,每一個都得零分
回覆以解析器未能讀取的格式承諾了更早的日期:連字號、以連字號連接的月份縮寫、年份在前的斜線格式自版本 1.0.1 起已能抓出:dash_date_promise、hyphen_month_promise、iso_slash_promise。三個完全未包含日期的承諾,被記錄為依設計會通過的未解決類別探針:requested_date_no_token、lead_time_no_token、vague_week_promise
回覆將日期放在承諾之前,或將工廠內部成本當作折扣提出自版本 1.0.2 起已能抓出:date_before_verb 與 cost_as_discount,兩者皆使 C10 未通過
報價資料列有變更,卻沒有紀錄顯示誰變更了什麼,或歷程被改寫以配合變更自版本 1.0.3 起已能抓出:C13(關鍵)與探針 stage_changed_without_history;歷程資料表受門檻檢查 4 保護,history_rewritten、history_on_other_quote 與 history_backdated 皆得零分
仍未讀取:必要輸出中與其本身正確數字相矛盾的文字敘述,例如否定其所載價格的回覆、原因欄位、額外的敘述性鍵值,或正確資料表旁附上的報告依設計未解決。目前沒有任何檢查項目會讀取這類文字敘述,手寫的探針也無法補上。唯一的檢查是業界專家的盲評

這些審查與我們自己發現的每一個類別,現在都已成為具名的探針,且在 2026年11月10日 執行的門檻檢查中,每一個都得到應有的評分。手寫的探針是回歸測試,而非保證:它們證明我們想得到的每一種錯誤最終狀態都會得到應有的分數,但對於我們沒想到的那些,則無法證明任何事。每個新類別在被發現當天就會成為具名的探針。

變更紀錄

  1. 2026年11月7日前。撰寫並執行版本 0。來自同一供應商的兩個現行模型,各以一次 rollout 解出。一次以模型進行的驗證器審查發現,回覆檢查接受了承諾排程無法達成之交貨日期的回覆。
  2. 2026年11月8日。版本 0.1:C10 會解析回覆內文中的日期,並設為關鍵;新增探針 contradictory_reply_date,以 0.96 嚴格未通過。
  3. 2026年11月8日。版本 1.0:quotes 資料表的欄位層級保護(門檻檢查 3)、對無法評分之提交的結構化拒絕、精確到分的價格比對、更嚴格的回覆檢查(也會讓版本 0.1 曾錯誤判定未通過的正確回覆通過)、兩個新的檢查項目(C11、C12)、27 個新的獎勵作弊與看似合理的錯誤探針、兩個正確的替代解法,以及種子中的一筆歷史報價資料列。參考答案維持不變,因此版本 0 的模型嘗試結果仍然有效。本頁發布。
  4. 2026年11月8日。版本 1.0.1:回覆檢查可讀取連字號、日-月份縮寫,以及年份在前的斜線日期格式,每一種都附有一個看似合理的錯誤。三個未包含日期的承諾,被記錄為依設計會通過的未解決類別探針。新的模組雜湊值。參考答案維持不變。
  5. 2026年11月8日。版本 1.0.2:回覆檢查可讀取放在承諾之前的日期,且不再讓將工廠內部成本當作折扣提出的回覆通過。新增一個正確的替代解法。參考答案維持不變。
  6. 2026年11月8日。版本 1.0.3:種子新增了客戶的催促信,以及一個含四筆撰寫好資料列的歷程資料表,並由門檻檢查 4 進行欄位層級保護。作業程序與指示要求記錄對報價資料列的每一項變更,並由 C13(關鍵)檢查。新增四個探針。價格、日期與參考報價維持不變;權重總和現為 25,因此每個分數都有所變動。

新的結果會連同日期一併公布,無論通過或未通過。

親自執行

首先是一通 20 分鐘的通話:我們會在您的工程師面前執行這個任務,從重設開始,經過一個獎勵作弊與一個看似合理的錯誤,最後到參考解法。在簽署雙向 NDA 後,您的工程師會收到獨立的驗證器,附有以 Python 3.11 撰寫、不需任何第三方套件的種子、重設、評分與自我測試指令,另附工作區、參考最終狀態,以及驗證器針對未更動工作區與參考解法所產生的報告。在您自己的機器上重新執行上述每一個探針,即為首次訂購的驗收測試;我們會在收到您的書面需求後 10 個工作天內交付首次訂購。

索取樣本包 預約導覽說明