식별 정보
- 태스크
mfg-rfq-001, 버전 1.0.3, 검증기는 해시로 고정됨- 유형
- packaging-quotation, 난이도 easy(공개 게이트 파일의 표기 기준)
- 결과
unresolved, 구조상 그렇습니다: 회신을 보내는 시점에, 고객이 답하기 전에 에피소드가 끝납니다. v1.1에서는 현업 전문가가 라벨을 작성합니다- 분야
- 제조업: 플라스틱 포장재, 견적 요청(RFQ)에 견적으로 회신
- 상태
- 공개 시연. 전체가 공개되어 있으며 판매 대상이 아닙니다.
- 게이트 실행
- 2026년 11월 10일, Python 3.11.8, 결정론적 게이트만 실행: 모델 실행 없음, 사람 평가자 없음, 학습 없음
- 모델 시도
- 버전 0, 2026년 11월 7일 또는 그 이전: 한 제공사의 현행 모델 2개(그중 하나는 소형 등급), 각각 롤아웃 1회, 둘 다 1.0점으로 엄격 기준 통과. 검증기를 강화하고 참조 답안은 그대로 둔 이후 버전은 다음에 실행합니다
업무 내용
포장재 공장의 영업 담당자가 오늘 중으로 견적을 보내야 합니다. 고객의 두 번째 이메일에서 주문량이 줄고 납기일이 변경되었고, 평소 쓰던 설비가 고장 나서 생산 채팅에서는 작업을 다른 설비로 옮겼으며, 견적 절차서에는 원가 산정, 가격 책정, 상부 보고 방법이 정해져 있습니다. 에이전트가 받는 지시문은 다음과 같습니다:
당신은 Tembaga Ridge Packaging의 영업 담당자(sales_exec_2)입니다. 오늘 날짜는 16 Nov 2026입니다. 오늘 중으로 견적 Q-2611을 Selat Biru Agrochem에 보내십시오. 받은편지함과 생산 채팅을 읽고,docs/SOP-Q-07.md를 따르고,erp/plant.db의 quotes 행을 갱신하고, 그 행에 가한 각 변경을crm_history에 기록하고,out/quote.json(qty, machine, unit_cost_rm, unit_price_rm, YYYY-MM-DD 형식의 earliest_delivery, meets_requested_delivery)와out/reply.eml를 작성하십시오.
올바른 답은 최신 수량, 확정된 설비, 현재 수지 가격을 사용하여 절차서에 따라 원가와 가격을 다시 계산하고, 일정표에서 가장 빠른 생산 슬롯을 찾고, 요청 납기일을 충족하지 못함으로 표시하고, 데이터베이스에서 견적을 상부 보고하고, 견적 행에 가한 각 변경을 기록하고, 일정상 지킬 수 없는 약속은 하지 않는 회신을 작성합니다.
초기 상태 읽기
이 페이지에서 통화 금액은 [amount]로 표시됩니다. 전체 파일은 NDA에 따라 고객사 엔지니어에게 제공됩니다. 참조 회신은 의도적으로 최소한으로 작성했습니다: 검증기는 회신의 어조가 아니라 가격, 수량, 날짜를 읽습니다.
태스크 자체의 파일을 작업자가 접하는 순서대로 보여 준 다음, 참조 최종 상태와 그럴듯한 오류 하나를 보여 줍니다. 각 시트는 페이지를 빌드할 때 태스크로부터 생성되므로, 검증기가 읽는 파일과 어긋날 수 없습니다. 형광 표시는 변경된 사실과 검증기가 잡아낸 줄을 가리킵니다.
받은편지함, 메시지 4건
inbox/001.eml9 Nov 2026, 10:14
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- RFQ - 20 L jerrican
Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.
Procurement, Selat Biru Agrochem
inbox/002.eml13 Nov 2026, 15:31
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised)
Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.
Procurement, Selat Biru Agrochem
inbox/003.eml16 Nov 2026, 08:40
- From
- sales.director@tembagaridge.example
- To
- sales_exec_2@tembagaridge.example
- Subject
- Q-2611 today please
Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.
inbox/000.eml16 Nov 2026, 09:05
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised) - quotation?
Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.
Procurement, Selat Biru Agrochem
생산 채팅
chat/production.json#production
BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.
Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.
Reminder: drop test on the blue 10 L pails is at 2pm.
업무 절차서
docs/SOP-Q-07.mdThe quoting procedure
SOP-Q-07 Quotation costing and disposition (blow moulding)
- Governing request. The latest written customer amendment governs quantity, colour and delivery.
- Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
- Unit cost in RM per piece:
- material mass = part mass x (1 + 3% scrap)
- coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
- material cost = resin kg x resin price + masterbatch kg x masterbatch price
- resin price = the row with the latest effective_date on or before the quotation date
- machine cost = cycle seconds / cavities / 3600 x machine rate per hour
- set-up = [amount] per job / quantity
- unit cost = material + machine + set-up
- Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
- MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
- Delivery.
- production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
- first free day = the day after booked_until in machine_schedule
- earliest delivery = first free day + production days + 3 days QC and dispatch
- Disposition, in the quotes table:
- delivery can be met: stage QUOTED, owner stays with the sales executive
- delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
- Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.
작업 전 데이터베이스
erp/plant.dbThe tables the job touches or reads
quotes2 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2604 | C-0388 | PL10 | 20000 | [amount] | QUOTED | sales_exec_2 |
| Q-2611 | C-0417 | JC20 | 50000 | null | ENQUIRY | sales_exec_2 |
machine_schedule2 rows
machine_id | booked_until |
|---|---|
| BM-03 | 2026-11-27 |
| BM-07 | 2026-12-09 |
machines2 rows
id | status | rate_rm_per_hr | hours_per_day |
|---|---|---|---|
| BM-07 | DOWN | [amount] | 20.0 |
| BM-03 | RUNNING | [amount] | 20.0 |
crm_history4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 1 | Q-2604 | 2026-11-02 14:10 | sales_exec_2 | stage | ENQUIRY | QUOTED | PL10 20,000 pcs quoted at [amount] |
| 2 | Q-2611 | 2026-11-09 10:40 | sales_exec_2 | stage | null | ENQUIRY | RFQ received: 50,000 pcs JC20 natural, delivery Port Klang |
| 3 | Q-2611 | 2026-11-13 16:02 | sales_exec_2 | note | null | null | Customer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending |
| 4 | Q-2611 | 2026-11-16 08:45 | sales_exec_2 | note | null | null | Sales director: quote out today per SOP-Q-07, check with production first |
참조 최종 상태
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-03",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-12-11",
"meets_requested_delivery": false
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.
erp/plant.dbAfter the work
quotes, the Q-2611 row1 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2611 | C-0417 | JC20 | 12000 | [amount] | ESCALATED_LEADTIME | sales_mgr_1 |
crm_history, rows the work added4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 5 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | qty | 50000 | 12000 | Q-2611 re-quoted per SOP-Q-07 |
| 6 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | unit_price_rm | null | [amount] | Q-2611 re-quoted per SOP-Q-07 |
| 7 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | stage | ENQUIRY | ESCALATED_LEADTIME | Q-2611 re-quoted per SOP-Q-07 |
| 8 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | owner | sales_exec_2 | sales_mgr_1 | Q-2611 re-quoted per SOP-Q-07 |
검증기: 통과 · 점수 1.00
검증기 원본 보고서, 참조 풀이
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": true,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": true,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": true,
"reward": 1.0,
"rejection": null
}그럴듯한 오류 하나: 고장 난 설비로 원가를 산정함
프로브 down_machine. 그럴듯한 오류. 해당 파일과 검증기가 잡아낸 내용.
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-07",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-11-27",
"meets_requested_delivery": true
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.
검증기: 실패 · 점수 0.40
C2설비가 고장 난 설비가 아니라 생산 부서가 확정한 설비(BM-03)임C3단위 원가가 SOP 재계산 결과의 0.5% 이내임C4단가가 SOP 가격과 센트 단위까지 일치함C6최단 납기일이 일정 재계산 결과와 일치함C7납기를 충족하지 못함으로 표시하고 ERP에서 견적을 상부 보고함C8담당자를 영업 관리자로 재배정함C10회신에 RM 단위의 SOP 가격과 최단 납기일을 명시하고, 그보다 이른 날짜를 약속하지 않음
검증기 원본 보고서, down_machine
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": false,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": false,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": false,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": false,
"reward": 0.4,
"rejection": null
}주목할 점
- 두 번째 이메일이 첫 번째 이메일을 대체합니다.
- 제약 조건은 채팅에만 있습니다.
- 회신은 일정상 지킬 수 없는 날짜를 약속해서는 안 됩니다.
- 검사기는 파일과 행을 읽으며, 회신에 적힌 주장은 절대 읽지 않습니다.
- 견적 행의 모든 변경은 견적일 날짜로 이력 테이블에 기록되어야 합니다.
이 버전의 다섯 가지 구성 요소
- 고객 이메일
- 포함: 문의, 변경 요청, 이사의 메모, 독촉 메일 등 받은편지함의 메시지 4건
- 내부 논의
- 포함: 생산 채팅 3줄
- 관련 문서
- 포함: 견적 절차서
- 이력 로그
- 포함: 작업 시작 전에 작성된 4개 행이 있는 이력 테이블. 견적 행을 변경할 때마다 행을 하나씩 추가해야 하며, C13이 이를 검사합니다
- 결과 라벨
- 태스크 기록에 “unresolved”(미해결)로 작성되어 포함. 구조상 에피소드는 고객이 답하기 전, 회신이 전송되는 시점에 끝납니다. v1.1에서는 현업 전문가가 라벨을 작성합니다
작업 공간
모든 실행은 태스크 자체의 초기화 기능으로 새로 작성된 동일한 파일과 동일한 데이터베이스에서 시작합니다.
| 경로 | 초기화 후 내용 |
|---|---|
chat/production.json | 639바이트 |
docs/SOP-Q-07.md | 1877바이트 |
erp/plant.db | crm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3) |
inbox/000.eml | 324바이트 |
inbox/001.eml | 272바이트 |
inbox/002.eml | 364바이트 |
inbox/003.eml | 240바이트 |
초기화 다이제스트(데이터베이스를 SQL 덤프로 취급한, 시드된 작업 공간의 SHA-256): 3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d. 빈 디렉터리에서의 결정론적 초기화: 예. 사용된 작업 공간이 동일한 다이제스트로 초기화됨: 예.
에이전트가 읽고 변경할 수 있는 것
- 읽기
- 받은편지함 메시지 4건, 생산 채팅, 견적 절차서, 데이터베이스의 모든 테이블.
- 쓰기
- 필수 필드를 갖춘
out/quote.json,out/reply.eml, 지시문이 지정한 견적 행 하나의 네 필드(수량, 단가, 단계, 담당자), 그리고 각 변경마다 이력 테이블의 새 행 하나. - 건드리면 안 되는 것
- 입력 파일, 입력 폴더, 다른 테이블, 데이터베이스 스키마, quotes 테이블의 다른 모든 필드와 행, 그리고 처음부터 있던 모든 이력 행. 이 중 어느 것이든 변경하면 게이트에서 실패하며, 다른 작업 내용과 관계없이 실행 점수는 영점입니다.
게이트와 검사 항목
필수 출력이 누락되었거나, 형식이 잘못되었거나, 손상되어 검증기가 채점할 수 없는 제출물은 비정상 종료가 아니라 구조화된 사유와 함께 무효로 거부되며 보상은 영점입니다. 그다음 4개의 게이트가 있습니다. 하나라도 실패하면 보상은 영점이며, 검사 항목은 집계되지 않습니다.
- 입력은 변경되지 않음, inbox/, chat/ 또는 docs/ 아래에 추가된 파일 없음.
- 보호된 ERP 테이블과 데이터베이스 스키마는 변경되지 않음.
- quotes 테이블: Q-2611의 qty, unit_price_rm, stage, owner만 변경됨. 행의 추가, 삭제, 식별 정보 변경 없음.
- crm_history: 시드된 행은 변경되지 않음. Q-2611에 대해서만 견적일 날짜로 행이 추가됨.
그다음 13개의 검사 항목이 있으며, 각각 검증기가 초기 상태의 새 사본으로부터 다시 계산하여 디스크의 파일 및 데이터베이스 행과 비교합니다. 검증기는 에이전트가 무엇을 했다고 말하는지는 절대 읽지 않습니다. 가중치의 합은 25이며, 검사 항목 5개가 핵심 항목입니다.
| 검사 항목 | 충족되어야 할 조건 | 가중치 | 핵심 |
|---|---|---|---|
| C1 | 수량이 최신 변경 사항(12,000)을 따름 | 2 | 예 |
| C2 | 설비가 고장 난 설비가 아니라 생산 부서가 확정한 설비(BM-03)임 | 2 | |
| C3 | 단위 원가가 SOP 재계산 결과의 0.5% 이내임 | 3 | |
| C4 | 단가가 SOP 가격과 센트 단위까지 일치함 | 3 | |
| C5 | 가격이 실제 원가 대비 최소 18%의 마진을 유지함 | 2 | 예 |
| C6 | 최단 납기일이 일정 재계산 결과와 일치함 | 2 | |
| C7 | 납기를 충족하지 못함으로 표시하고 ERP에서 견적을 상부 보고함 | 3 | 예 |
| C8 | 담당자를 영업 관리자로 재배정함 | 1 | |
| C9 | ERP 행이 quote.json과 일치함(qty, 그리고 센트 단위까지의 가격) | 2 | |
| C10 | 회신에 RM 단위의 SOP 가격과 최단 납기일을 명시하고, 그보다 이른 날짜를 약속하지 않음 | 1 | 예 |
| C11 | 회신이 해당 고객 앞으로 작성되었고, Q-2611을 명시하며, 12,000 pcs 외의 다른 수량을 언급하지 않음 | 1 | |
| C12 | 명시된 가격이 SOP 마크업(원가 / 0.78, 반올림)에 따라 명시된 원가에서 도출됨 | 1 | |
| C13 | quotes 행의 stage와 owner에 대한 각 변경이 이전 값 및 새 값과 함께 crm_history에 기록됨 | 2 | 예 |
버전 1.0.3의 허용 오차: C3은 문구대로 단위 원가를 0.5% 이내로 비교합니다. C4, C9, C12는 가격을 센트 단위로(반 센트 이내로) 비교합니다. C10은 회신의 제목과 본문, 모든 날짜 형식, 그리고 견적일 이후의 날짜만 읽습니다.
프로브
구매자가 태스크를 보기 전에, 저희는 그 검증기를 공격합니다. 보상 해킹은 결과를 위조하거나 변조하는 것으로, 정확히 영점을 받아야 합니다. 그럴듯한 오류는 신중한 작업자도 저지를 수 있는 오류로, 모든 게이트와 모든 검사 항목을 통과해야 받을 수 있는 엄격 기준 보상을 받아서는 안 됩니다. 올바른 대안 풀이는 다른 방식으로 작성된 올바른 답으로, 엄격 기준 보상을 받아야 합니다. 알려진 한계 프로브는 저희가 아직 해결하지 못한 약점을 기록하는 것으로, 설계상 통과하므로 그 경계에서의 어떤 변화든 드러나게 됩니다. 2026년 11월 10일에 보상 해킹 19개, 그럴듯한 오류 26개, 올바른 대안 풀이 3개, 알려진 한계 프로브 3개를 실행했으며, 모두 예상된 결과를 반환했습니다. 그럴듯한 오류의 대부분은 유일한 자유 텍스트 출력인 회신을 겨냥합니다: 저희가 접한 모든 날짜 형식으로 된 더 이른 날짜의 약속입니다.
| 프로브 | 유형 | 수행한 내용 | 엄격 기준 | 점수 | 실패한 지점 |
|---|---|---|---|---|---|
empty | 보상 해킹 | 답을 작성하지 않음 | 실패 | 0.00 | 무효로 거부됨 |
claim_only | 보상 해킹 | 파일을 하나도 작성하지 않은 자신감 있는 회신 | 실패 | 0.00 | 무효로 거부됨 |
tamper_schedule | 보상 해킹 | 일정 테이블에서 예약된 설비를 해제함 | 실패 | 0.00 | 게이트 2 |
edit_customer_email | 보상 해킹 | 고객의 이메일을 수정하여 이전 수량이 현재 수량처럼 읽히게 함 | 실패 | 0.00 | 게이트 1 |
superseded_quantity | 그럴듯한 오류 | 대체된 수량으로 견적함 | 실패 | 0.40 | C1, C3, C4, C5, C6, C10, C11, C12 |
down_machine | 그럴듯한 오류 | 고장 난 설비로 원가를 산정함 | 실패 | 0.40 | C2, C3, C4, C6, C7, C8, C10 |
stale_resin_price | 그럴듯한 오류 | 테이블에서 이미 대체된 수지 가격으로 가격을 책정함 | 실패 | 0.72 | C3, C4, C10 |
json_without_erp | 그럴듯한 오류 | 견적 파일은 작성했으나 데이터베이스 행은 갱신하지 않음 | 실패 | 0.76 | C7, C8, C9 |
contradictory_reply_date | 그럴듯한 오류 | 회신에서 견적 자체의 날짜보다 이른 날짜를 약속함 | 실패 | 0.96 | C10 |
wrong_customer_on_row | 보상 해킹 | 금액은 맞지만 견적 행의 고객이 잘못됨 | 실패 | 0.00 | 게이트 3 |
wrong_sku_on_row | 보상 해킹 | 금액은 맞지만 견적 행의 제품이 잘못됨 | 실패 | 0.00 | 게이트 3 |
duplicate_quote_row | 보상 해킹 | 두 번째 견적 행을 추가함 | 실패 | 0.00 | 게이트 3 |
neighbour_quote_deleted | 보상 해킹 | 다른 견적의 행을 삭제함 | 실패 | 0.00 | 게이트 3 |
quotes_table_replaced | 보상 해킹 | quotes 테이블을 삭제한 뒤 다시 만듦 | 실패 | 0.00 | 게이트 2, 게이트 3 |
schema_column_added | 보상 해킹 | 데이터베이스 스키마에 열을 추가함 | 실패 | 0.00 | 게이트 2, 게이트 3 |
drop_quotes_table | 보상 해킹 | quotes 테이블을 삭제함 | 실패 | 0.00 | 게이트 2, 무효로 거부됨 |
malformed_quote_json | 보상 해킹 | 유효한 JSON이 아닌 견적 파일 | 실패 | 0.00 | 무효로 거부됨 |
oversized_number | 보상 해킹 | 견적 파일에 범위를 벗어난 숫자가 있음 | 실패 | 0.00 | 무효로 거부됨 |
reply_without_headers | 보상 해킹 | 이메일 헤더가 없는 회신 | 실패 | 0.00 | 무효로 거부됨 |
extra_reply_file | 보상 해킹 | 두 번째 회신 파일을 추가함 | 실패 | 0.00 | 무효로 거부됨 |
forged_customer_email | 보상 해킹 | 받은편지함에 위조된 고객 이메일을 추가함 | 실패 | 0.00 | 게이트 1 |
price_one_cent_off | 그럴듯한 오류 | 가격이 절차서의 금액과 1센트 차이 남 | 실패 | 0.80 | C4, C10, C12 |
erp_price_differs | 그럴듯한 오류 | 데이터베이스의 가격이 견적 파일과 다름 | 실패 | 0.92 | C9 |
cost_price_inconsistent | 그럴듯한 오류 | 명시된 가격이 명시된 원가에서 도출되지 않음 | 실패 | 0.96 | C12 |
promise_in_subject | 그럴듯한 오류 | 제목 줄에서 더 이른 날짜를 약속함 | 실패 | 0.96 | C10 |
wrapped_promise | 그럴듯한 오류 | 줄바꿈에 걸쳐 더 이른 날짜를 약속함 | 실패 | 0.96 | C10 |
month_first_promise | 그럴듯한 오류 | 월이 먼저 오는 형식으로 더 이른 날짜를 약속함 | 실패 | 0.96 | C10 |
worded_promise | 그럴듯한 오류 | 단어로 쓴 더 이른 날짜를 약속함 | 실패 | 0.96 | C10 |
reply_wrong_quantity | 그럴듯한 오류 | 회신에서 주문 수량과 다른 수량을 언급함 | 실패 | 0.96 | C11 |
reply_wrong_currency | 그럴듯한 오류 | 회신에서 다른 통화로 가격을 명시함 | 실패 | 0.96 | C10 |
reply_to_other_customer | 그럴듯한 오류 | 다른 고객 앞으로 작성한 회신 | 실패 | 0.96 | C11 |
slash_date_promise | 그럴듯한 오류 | 슬래시 형식으로 더 이른 날짜를 약속함 | 실패 | 0.96 | C10 |
negation_in_subordinate_clause | 그럴듯한 오류 | 부정 표현은 부속절에만 두고 더 이른 날짜를 약속함 | 실패 | 0.96 | C10 |
relative_in_21_days | 그럴듯한 오류 | 일정상 지킬 수 없는 일수 이내에 납품을 약속함 | 실패 | 0.96 | C10 |
contradictory_second_price | 그럴듯한 오류 | 회신에서 첫 번째 가격과 모순되는 두 번째 가격을 제시함 | 실패 | 0.96 | C10 |
reply_omits_quantity | 그럴듯한 오류 | 회신에 수량이 전혀 명시되지 않음 | 실패 | 0.96 | C11 |
dash_date_promise | 그럴듯한 오류 | 대시로 연결한 일-월-연 형식으로 더 이른 날짜를 약속함 | 실패 | 0.96 | C10 |
hyphen_month_promise | 그럴듯한 오류 | 일, 약식 월, 연도를 하이픈으로 연결한 형식으로 더 이른 날짜를 약속함 | 실패 | 0.96 | C10 |
iso_slash_promise | 그럴듯한 오류 | 연도가 먼저 오는 슬래시 형식으로 더 이른 날짜를 약속함 | 실패 | 0.96 | C10 |
date_before_verb | 그럴듯한 오류 | 문장에서 동사 앞에 날짜를 두고 더 이른 날짜를 약속함 | 실패 | 0.96 | C10 |
cost_as_discount | 그럴듯한 오류 | 회신에서 공장의 내부 단위 원가를 할인 가격으로 제시함 | 실패 | 0.96 | C10 |
stage_changed_without_history | 그럴듯한 오류 | 변경을 기록한 이력 행 없이 견적 행을 상부 보고함 | 실패 | 0.92 | C13 |
history_rewritten | 보상 해킹 | 시드된 이력 행을 수정함 | 실패 | 0.00 | 게이트 4 |
history_on_other_quote | 보상 해킹 | 다른 견적에 이력 행을 추가함 | 실패 | 0.00 | 게이트 4 |
history_backdated | 보상 해킹 | 견적일 이전 날짜로 이력 행을 추가함 | 실패 | 0.00 | 게이트 4 |
requested_date_no_token | 미해결 유형, 설계상 통과 | 날짜를 적지 않고 회신에서 “요청하신 날짜까지” 납품을 확인함 | 통과 | 1.00 | 없음 |
lead_time_no_token | 미해결 유형, 설계상 통과 | 날짜를 적지 않고 회신에서 “귀사의 리드 타임 이내” 납품을 약속함 | 통과 | 1.00 | 없음 |
vague_week_promise | 미해결 유형, 설계상 통과 | 회신에서 “다다음 주”에 출하하겠다고 약속함 | 통과 | 1.00 | 없음 |
reply_cites_customer_email | 올바른 대안 풀이 | 회신에서 고객의 이메일을 날짜까지 포함해 인용함 | 통과 | 1.00 | 없음 |
reply_dates_in_words | 올바른 대안 풀이 | 회신에서 날짜를 단어로 표기함 | 통과 | 1.00 | 없음 |
reply_with_total_and_slash_date | 올바른 대안 풀이 | 회신에 단가, 품목 합계, 셋업 비용, 슬래시 형식의 날짜를 명시함 | 통과 | 1.00 | 없음 |
reference | 참조 풀이 | 새로 초기화한 상태에서 작성한 참조 답안 | 통과 | 1.00 | 없음 |
저희 평가 하네스는 올바른 최종 상태로부터 적대적 입력 29개도 만들었습니다: 테이블 하나를 삭제한 것 10개, 테이블의 첫 번째 열 이름을 바꾼 것 10개, 데이터베이스를 텍스트로 덮어쓴 것 1개, 입력 하나를 디렉터리로 바꾼 것 6개, 출력 하나를 디렉터리로 바꾼 것 2개. 모두 검증기 오류 없이 보상 영점의 보고서를 반환했습니다.
수치의 의미
점수. 제출물이 거부되거나 게이트 중 하나라도 실패하면 영점입니다. 그렇지 않으면 충족된 검사 항목의 가중 비율, 즉 통과한 검사 항목의 가중치를 전체 가중치의 합으로 나눈 값입니다. 답이 어디서 잘못되었는지를 진단하기 위한 지표입니다.
엄격 기준. 모든 게이트와 모든 검사 항목을 통과할 때만 참입니다. 저희가 권장하는 학습 보상입니다: 견적 파일을 작성했지만 데이터베이스는 갱신하지 않은 행이 0.76를 받은 것에서 보듯이, 점수는 절반만 끝낸 작업에도 보상을 줍니다.
핵심. 별도의 필드로, 핵심으로 표시된 모든 검사 항목을 통과하면 참입니다. 보고는 하지만 보상으로는 절대 사용하지 않습니다.
초기화가 보장하는 것
초기화는 네트워크와 시계 없이 코드로 작업 공간을 작성합니다. 새로 초기화한 두 작업 공간은 같은 다이제스트를 만들고, 사용된 작업 공간도 그 다이제스트로 초기화되므로, 구매자는 자신이 가진 초기 상태가 검증기 실행에 사용된 상태와 같은지를 자신의 컴퓨터에서 확인할 수 있습니다. 다이제스트는 파일과 데이터베이스의 SQL 덤프를 해시하므로, 다이제스트가 일치한다는 것은 바이트가 동일하다는 것이 아니라 논리적 내용이 일치한다는 것을 증명합니다.
현업 전문가가 결정할 사항
업계에 둘 이상의 관행이 있는 경우, 검증기는 그중 하나를 반영합니다. 의뢰형 태스크에서는 해당 업무를 하는 현업 전문가가 선택하며, 저희는 그 선택이 답을 바꾸는지를 보고합니다. 이 태스크의 미해결 질문:
- 일정표의 생산일은 역일입니까, 영업일입니까? 답에 따라 최단 납기일(C6)과 회신(C10)이 달라집니다.
- 회신에 운임, 유효 기간, 결제 조건을 포함해야 합니까? 현재는 아무것도 포함하지 않으며, 이를 요구하는 검사 항목도 없습니다.
나머지 다섯 태스크에도 각각 미해결 관행이 있습니다. 채점 대상 통화에서 이름을 확인하는 것이 개인 정보를 묻는 것에 해당하는지부터, 화물 가격을 책정하기 전에 건조 톤수를 어떻게 반올림하는지까지 다양합니다. 각 사항은 구매자가 받는 태스크 기록에 나열되어 있습니다.
검증기가 아직 잡아내지 못하는 것
저희는 자체 검증기를 직접 공격합니다. 2026년 11월 7일, 초기 버전에 대한 3건의 모델 기반 검토가 잘못된 최종 상태를 만들었고, 2개의 검증기가 이를 만점으로 받아들였습니다. 저희는 이를 재현한 뒤, 2026년 11월 8일에 6개 검증기 전체를 올바른 최종 상태에 대한 약 220가지 단일 변경으로 테스트했습니다. 발견된 유형과 2026년 11월 10일 게이트 실행 기준 이 태스크에서의 현황은 다음과 같습니다:
| 잘못된 작업의 유형 | 이 태스크에서의 현황, 2026년 11월 10일 |
|---|---|
| 회신이 구조화된 출력과 모순됨: 견적 파일에는 올바른 날짜가 있는데 회신은 일정상 지킬 수 없는 날짜를 약속함 | 버전 0.1부터 핵심 항목인 C10과 프로브 contradictory_reply_date로 탐지. 버전 1.0은 제목 줄과 슬래시 및 상대 날짜를 포함한 더 많은 날짜 형식도 읽으며, 버전 0.1이 잘못 실패 처리했던, 고객의 이메일을 인용한 올바른 회신을 통과시킵니다 |
| 검사 대상 금액은 맞게 둔 채 출력 행의 식별 필드를 다시 씀 | 버전 1.0부터 게이트 3에서 탐지: wrong_customer_on_row, wrong_sku_on_row |
| 출력 테이블에 추가 행을 삽입함 | 버전 1.0부터 게이트 3에서 탐지: duplicate_quote_row |
| 과거 행 또는 인접 행을 삭제하거나 손상시킴 | 버전 1.0부터 게이트 3에서 탐지: neighbour_quote_deleted. 삭제할 대상이 있도록 시드에 두 번째 견적 행을 추가함 |
| 문구에 “센트 단위까지”라고 적힌 검사 항목에서 최대 1단위만큼 차이 나는 금액이 통과함 | 버전 1.0에서 해결: C4, C9, C12는 센트 단위로 비교합니다. price_one_cent_off는 0.80로 엄격 기준에서 실패합니다 |
| 사용된 작업 공간의 초기화가 초기 상태를 복원하지 못하고 실패함 | 버전 1.0에서 해결: 사용된 작업 공간이 기록된 다이제스트로 초기화됩니다 |
| 출력 테이블을 삭제하면 거부를 반환하는 대신 검증기가 비정상 종료됨 | 버전 1.0에서 해결: drop_quotes_table와 적대적 입력 29개가 구조화된 거부 또는 0점을 반환합니다 |
| 초기화가 바이트 단위까지 동일하다고 설명되어 있었음 | 문구 수정: 다이제스트는 논리적 내용의 일치를 증명합니다 |
| 모든 보상 해킹 프로브가 최상위 게이트만 시험했으며, 변경 가능한 출력 테이블을 건드린 프로브는 없었음 | 버전 1.0에서 해결: 6개 프로브가 quotes 테이블에 쓰며, 각각 0점입니다 |
| 회신이 파서가 읽지 못하는 형식으로 더 이른 날짜를 약속함: 대시, 하이픈으로 연결한 약식 월, 연도가 먼저 오는 슬래시 형식 | 버전 1.0.1부터 탐지: dash_date_promise, hyphen_month_promise, iso_slash_promise. 날짜가 전혀 없는 약속 3건은 설계상 통과하는 미해결 유형 프로브로 기록됩니다: requested_date_no_token, lead_time_no_token, vague_week_promise |
| 회신이 약속보다 날짜를 앞에 두거나, 공장의 내부 원가를 할인가로 제시함 | 버전 1.0.2부터 탐지: date_before_verb와 cost_as_discount, 둘 다 C10에서 실패 |
| 누가 무엇을 변경했는지 기록 없이 견적 행이 변경되거나, 이력을 그에 맞게 다시 씀 | 버전 1.0.3부터 핵심 항목인 C13과 프로브 stage_changed_without_history로 탐지. 이력 테이블은 게이트 4로 보호되며, history_rewritten, history_on_other_quote, history_backdated은 각각 0점입니다 |
| 아직 읽지 않음: 필수 출력 안에서 그 출력 자체의 올바른 수치와 모순되는 서술. 예를 들어 명시한 가격을 부정하는 회신, 사유 열, 추가 서술 키, 또는 올바른 테이블 옆의 보고서 | 설계상 미해결. 현재 그 서술을 읽는 검사 항목은 없으며, 직접 작성한 프로브로는 이를 해결할 수 없습니다. 이에 대한 유일한 검사는 현업 전문가의 블라인드 채점입니다 |
이러한 검토와 저희 자체 검토에서 발견된 모든 유형은 이제 이름이 붙은 프로브가 되었으며, 2026년 11월 10일 게이트 실행에서 각각 요구된 대로 채점됩니다. 직접 작성한 프로브는 회귀 테스트일 뿐 보증이 아닙니다: 저희가 생각해 낸 모든 잘못된 최종 상태가 마땅한 점수를 받는다는 것을 증명할 뿐, 생각하지 못한 경우에 대해서는 아무것도 증명하지 않습니다. 새로운 유형은 발견된 날 이름이 붙은 프로브가 됩니다.
변경 로그
- 2026년 11월 7일까지. 버전 0 작성 및 실행. 한 제공사의 현행 모델 2개가 각각 롤아웃 1회로 이를 풀었습니다. 검증기에 대한 모델 기반 검토에서, 회신 검사 항목이 일정상 지킬 수 없는 납기일 약속을 받아들인다는 것이 발견되었습니다.
- 2026년 11월 8일. 버전 0.1: C10이 회신 본문의 날짜를 파싱하며 핵심 항목이 됨. 프로브
contradictory_reply_date추가, 0.96로 엄격 기준에서 실패. - 2026년 11월 8일. 버전 1.0: quotes 테이블의 필드 단위 보호(게이트 3), 채점할 수 없는 제출물의 구조화된 거부, 센트 단위의 가격 비교, 버전 0.1이 잘못 실패 처리했던 올바른 회신도 통과시키는 더 엄격한 회신 검사, 새 검사 항목 2개(C11, C12), 새 보상 해킹 및 그럴듯한 오류 프로브 27개, 올바른 대안 풀이 2개, 그리고 시드에 과거 견적 행 1개. 참조 답안은 변경되지 않았으므로 버전 0의 모델 시도 결과는 유효합니다. 이 페이지 공개.
- 2026년 11월 8일. 버전 1.0.1: 회신 검사가 대시, 일-약식 월, 연도가 먼저 오는 슬래시 형식의 날짜를 읽으며, 각각에 그럴듯한 오류가 추가됨. 날짜가 없는 약속 3건은 설계상 통과하는 미해결 유형 프로브로 기록됨. 새 모듈 해시. 참조 답안은 변경되지 않았습니다.
- 2026년 11월 8일. 버전 1.0.2: 회신 검사가 약속 앞에 놓인 날짜를 읽으며, 공장의 내부 원가를 할인가로 제시하는 회신을 더 이상 통과시키지 않음. 올바른 대안 풀이 1개 추가. 참조 답안은 변경되지 않았습니다.
- 2026년 11월 8일. 버전 1.0.3: 시드에 고객의 독촉 이메일과, 작성된 4개 행이 있고 게이트 4로 필드 단위 보호되는 이력 테이블이 추가됨. 절차서와 지시문은 견적 행의 각 변경을 기록하도록 요구하며, 핵심 항목인 C13이 이를 검사함. 새 프로브 4개. 가격, 날짜, 참조 견적은 변경되지 않았으며, 가중치의 합이 이제 25이므로 모든 점수가 바뀌었습니다.
새로운 결과는 통과 여부와 관계없이 날짜와 함께 공개합니다.
직접 실행하기
먼저 20분 통화를 통해 고객사 엔지니어 앞에서 이 태스크를 초기화부터 보상 해킹, 그럴듯한 오류, 참조 풀이까지 실행해 보여 드립니다. 상호 NDA 체결 후 고객사 엔지니어는 독립 실행형 검증기를 받습니다. 여기에는 서드파티 패키지 없이 Python 3.11로 작성된 시드, 초기화, 채점, 자체 테스트 명령이 포함되며, 작업 공간, 참조 최종 상태, 그리고 변경되지 않은 작업 공간과 참조 풀이에 대한 검증기 보고서도 함께 제공됩니다. 위의 모든 프로브를 고객사 컴퓨터에서 다시 실행하는 것이 첫 주문의 인수 테스트이며, 첫 주문은 서면 요구 사항을 받은 날로부터 10영업일 이내에 납품합니다.