Identität
- Aufgabe
mfg-rfq-001, Version 1.0.3, Verifier per Hash eingefroren- Familie
- packaging-quotation, Schwierigkeit easy, wie in der öffentlichen Gate-Datei angegeben
- Ergebnis
unresolved, per Konstruktion: Die Episode endet, wenn die Antwort gesendet wird, bevor der Kunde antwortet; ein Praktiker verfasst das Label in v1.1- Bereich
- Fertigung: Kunststoffverpackungen, eine Angebotsanfrage, die mit einem Angebot beantwortet wird
- Status
- Öffentliche Demonstration; vollständig offengelegt und nicht zum Verkauf.
- Gates ausgeführt
- 10. November 2026, Python 3.11.8, nur deterministische Gates: keine Modellläufe, keine menschlichen Bewerter, kein Training
- Modellversuche
- Version 0, am oder vor dem 7. November 2026: zwei aktuelle Modelle eines Anbieters, eines davon seine kleine Stufe, je ein Rollout, beide erzielten 1,0 und bestanden strikt. Die späteren Versionen, die den Verifier verschärft und die Referenzantwort unverändert gelassen haben, laufen als Nächstes
Der Auftrag
Ein Vertriebsmitarbeiter in einem Verpackungswerk muss heute ein Angebot verschicken. Die zweite E-Mail des Kunden hat die Bestellmenge reduziert und den Liefertermin verschoben, im Produktionschat wurde der Auftrag auf eine andere Maschine verlegt, weil die übliche ausgefallen ist, und das Kalkulationsverfahren legt fest, wie kalkuliert, bepreist und eskaliert wird. Die Anweisung, wie der Agent sie erhält:
Sie sind Vertriebsmitarbeiter (sales_exec_2) bei Tembaga Ridge Packaging. Heute ist der 16. Nov. 2026. Schicken Sie das Angebot Q-2611 heute an Selat Biru Agrochem. Lesen Sie den Posteingang und den Produktionschat, befolgen Siedocs/SOP-Q-07.md, aktualisieren Sie die quotes-Zeile inerp/plant.db, protokollieren Sie jede Änderung daran incrm_historyund schreiben Sieout/quote.json(qty, machine, unit_cost_rm, unit_price_rm, earliest_delivery als YYYY-MM-DD, meets_requested_delivery) undout/reply.eml.
Die richtige Antwort übernimmt die neueste Menge, die bestätigte Maschine und den aktuellen Harzpreis, berechnet Kosten und Preis nach dem Verfahren neu, findet den frühesten freien Termin im Fertigungsplan, kennzeichnet den gewünschten Termin als nicht einhaltbar, eskaliert das Angebot in der Datenbank, protokolliert jede Änderung an der Angebotszeile und schreibt eine Antwort, die nichts verspricht, was der Fertigungsplan nicht leisten kann.
Den Ausgangszustand lesen
Geldbeträge erscheinen auf dieser Seite als [amount]; die vollständigen Dateien erhält Ihr Engineer unter NDA. Die Referenzantwort ist bewusst minimal gehalten: Der Verifier liest Preis, Menge und Termine, nicht den Ton.
Die eigenen Dateien der Aufgabe in der Reihenfolge, in der ein Mitarbeiter ihnen begegnet, dann der Referenz-Endzustand und ein plausibler Fehler. Jedes Blatt wird beim Bauen der Seite aus der Aufgabe generiert und kann daher nicht von den Dateien abweichen, die der Verifier liest. Der Textmarker hebt die geänderten Fakten und die vom Verifier beanstandete Zeile hervor.
Der Posteingang, vier Nachrichten
inbox/001.eml9 Nov 2026, 10:14
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- RFQ - 20 L jerrican
Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.
Procurement, Selat Biru Agrochem
inbox/002.eml13 Nov 2026, 15:31
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised)
Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.
Procurement, Selat Biru Agrochem
inbox/003.eml16 Nov 2026, 08:40
- From
- sales.director@tembagaridge.example
- To
- sales_exec_2@tembagaridge.example
- Subject
- Q-2611 today please
Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.
inbox/000.eml16 Nov 2026, 09:05
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised) - quotation?
Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.
Procurement, Selat Biru Agrochem
Der Produktionschat
chat/production.json#production
BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.
Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.
Reminder: drop test on the blue 10 L pails is at 2pm.
Das Verfahren
docs/SOP-Q-07.mdThe quoting procedure
SOP-Q-07 Quotation costing and disposition (blow moulding)
- Governing request. The latest written customer amendment governs quantity, colour and delivery.
- Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
- Unit cost in RM per piece:
- material mass = part mass x (1 + 3% scrap)
- coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
- material cost = resin kg x resin price + masterbatch kg x masterbatch price
- resin price = the row with the latest effective_date on or before the quotation date
- machine cost = cycle seconds / cavities / 3600 x machine rate per hour
- set-up = [amount] per job / quantity
- unit cost = material + machine + set-up
- Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
- MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
- Delivery.
- production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
- first free day = the day after booked_until in machine_schedule
- earliest delivery = first free day + production days + 3 days QC and dispatch
- Disposition, in the quotes table:
- delivery can be met: stage QUOTED, owner stays with the sales executive
- delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
- Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.
Die Datenbank vor der Arbeit
erp/plant.dbThe tables the job touches or reads
quotes2 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2604 | C-0388 | PL10 | 20000 | [amount] | QUOTED | sales_exec_2 |
| Q-2611 | C-0417 | JC20 | 50000 | null | ENQUIRY | sales_exec_2 |
machine_schedule2 rows
machine_id | booked_until |
|---|---|
| BM-03 | 2026-11-27 |
| BM-07 | 2026-12-09 |
machines2 rows
id | status | rate_rm_per_hr | hours_per_day |
|---|---|---|---|
| BM-07 | DOWN | [amount] | 20.0 |
| BM-03 | RUNNING | [amount] | 20.0 |
crm_history4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 1 | Q-2604 | 2026-11-02 14:10 | sales_exec_2 | stage | ENQUIRY | QUOTED | PL10 20,000 pcs quoted at [amount] |
| 2 | Q-2611 | 2026-11-09 10:40 | sales_exec_2 | stage | null | ENQUIRY | RFQ received: 50,000 pcs JC20 natural, delivery Port Klang |
| 3 | Q-2611 | 2026-11-13 16:02 | sales_exec_2 | note | null | null | Customer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending |
| 4 | Q-2611 | 2026-11-16 08:45 | sales_exec_2 | note | null | null | Sales director: quote out today per SOP-Q-07, check with production first |
Der Referenz-Endzustand
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-03",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-12-11",
"meets_requested_delivery": false
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.
erp/plant.dbAfter the work
quotes, the Q-2611 row1 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2611 | C-0417 | JC20 | 12000 | [amount] | ESCALATED_LEADTIME | sales_mgr_1 |
crm_history, rows the work added4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 5 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | qty | 50000 | 12000 | Q-2611 re-quoted per SOP-Q-07 |
| 6 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | unit_price_rm | null | [amount] | Q-2611 re-quoted per SOP-Q-07 |
| 7 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | stage | ENQUIRY | ESCALATED_LEADTIME | Q-2611 re-quoted per SOP-Q-07 |
| 8 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | owner | sales_exec_2 | sales_mgr_1 | Q-2611 re-quoted per SOP-Q-07 |
Der Verifier: Bestanden · Score 1,00
Roher Verifier-Bericht, Referenzlösung
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": true,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": true,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": true,
"reward": 1.0,
"rejection": null
}Ein plausibler Fehler: die ausgefallene Maschine kalkuliert
Der Testfall down_machine. Plausibler Fehler. Seine Dateien und was der Verifier beanstandet hat.
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-07",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-11-27",
"meets_requested_delivery": true
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.
Der Verifier: Nicht bestanden · Score 0,40
C2Die Maschine ist die von der Produktion bestätigte (BM-03), nicht die ausgefalleneC3Stückkosten innerhalb von 0,5 % der Nachrechnung nach SOPC4Stückpreis entspricht centgenau dem SOP-PreisC6Frühester Liefertermin entspricht der Nachrechnung des FertigungsplansC7Lieferung als nicht einhaltbar gekennzeichnet und das Angebot im ERP eskaliertC8Zuständigkeit an den Vertriebsleiter übertragenC10Antwort nennt den SOP-Preis in RM und den frühesten Liefertermin und verspricht keinen früheren Termin
Roher Verifier-Bericht, down_machine
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": false,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": false,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": false,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": false,
"reward": 0.4,
"rejection": null
}Worauf zu achten ist
- Die zweite E-Mail ersetzt die erste.
- Die Einschränkung steht nur im Chat.
- Die Antwort darf keinen Termin versprechen, den der Fertigungsplan nicht einhalten kann.
- Das Prüfprogramm liest die Dateien und Zeilen, nie die Behauptungen der Antwort.
- Jede Änderung an der Angebotszeile muss in der Historientabelle protokolliert werden, datiert auf das Angebotsdatum.
Die fünf Bestandteile dieser Version
- Kunden-E-Mails
- Vorhanden: die Anfrage, die Änderung, die Notiz des Geschäftsführers und die Nachfrage, vier Nachrichten im Posteingang
- Interne Abstimmung
- Vorhanden: der Produktionschat, drei Zeilen
- Zugehörige Dokumente
- Vorhanden: das Kalkulationsverfahren
- Historienprotokoll
- Vorhanden: die Historientabelle, vier verfasste Zeilen vor Beginn der Arbeit. Jede Änderung an der Angebotszeile muss eine hinzufügen, geprüft durch C13
- Ergebnislabel
- Im Aufgabendatensatz vorhanden, verfasst als „unresolved“. Per Konstruktion: Die Episode endet, wenn die Antwort gesendet wird, bevor der Kunde antwortet; ein Praktiker verfasst das Label in v1.1
Der Workspace
Jeder Lauf beginnt mit denselben Dateien und derselben Datenbank, frisch geschrieben durch den eigenen Reset der Aufgabe.
| Pfad | Inhalt nach dem Reset |
|---|---|
chat/production.json | 639 Byte |
docs/SOP-Q-07.md | 1877 Byte |
erp/plant.db | crm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3) |
inbox/000.eml | 324 Byte |
inbox/001.eml | 272 Byte |
inbox/002.eml | 364 Byte |
inbox/003.eml | 240 Byte |
Reset-Digest, SHA-256 des befüllten Workspace, wobei die Datenbank als ihr SQL-Dump genommen wird: 3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d. Reset deterministisch aus einem leeren Verzeichnis: ja. Ein benutzter Workspace wird auf denselben Digest zurückgesetzt: ja.
Was der Agent lesen und ändern darf
- Liest
- Die vier Nachrichten im Posteingang, den Produktionschat, das Kalkulationsverfahren und jede Tabelle der Datenbank.
- Schreibt
out/quote.jsonmit den erforderlichen Feldern,out/reply.eml, vier Felder der einen in der Anweisung genannten Angebotszeile: Menge, Stückpreis, Phase und Zuständigkeit, sowie für jede dieser Änderungen eine neue Zeile in der Historientabelle.- Darf nicht anfassen
- Die Eingabedateien, die Eingabeordner, die anderen Tabellen, das Datenbankschema, jedes andere Feld und jede andere Zeile der quotes-Tabelle und jede Historienzeile, die zu Beginn vorhanden war. Jede Änderung dort lässt ein Gate scheitern, und der Lauf erhält Score null, was auch immer er sonst getan hat.
Gates und Prüfungen
Eine Einreichung, die der Verifier nicht bewerten kann, weil eine erforderliche Ausgabe fehlt, fehlerhaft oder beschädigt ist, wird als ungültig mit Reward null abgelehnt, mit einer strukturierten Begründung statt eines Absturzes. Dann folgen vier Gates. Scheitert eines, ist der Reward null, und es werden keine Prüfungen gezählt.
- Eingaben unverändert und keine Datei unter inbox/, chat/ oder docs/ hinzugefügt.
- Geschützte ERP-Tabellen und das Datenbankschema unverändert.
- quotes-Tabelle: nur qty, unit_price_rm, stage und owner von Q-2611 geändert; keine Zeile hinzugefügt, entfernt oder neu identifiziert.
- crm_history: ursprüngliche Zeilen unverändert; Zeilen nur für Q-2611 angehängt und auf das Angebotsdatum datiert.
Dann folgen dreizehn Prüfungen, die der Verifier jeweils aus einer frischen Kopie des Ausgangszustands nachrechnet und mit den Dateien und Datenbankzeilen auf der Festplatte vergleicht. Der Verifier liest nie, was der Agent nach eigener Aussage getan hat. Die Gewichte ergeben in Summe 25; 5 Prüfungen sind kritisch.
| Prüfung | Was erfüllt sein muss | Gewichtung | Kritisch |
|---|---|---|---|
| C1 | Menge folgt der neuesten Änderung (12.000) | 2 | ja |
| C2 | Die Maschine ist die von der Produktion bestätigte (BM-03), nicht die ausgefallene | 2 | |
| C3 | Stückkosten innerhalb von 0,5 % der Nachrechnung nach SOP | 3 | |
| C4 | Stückpreis entspricht centgenau dem SOP-Preis | 3 | |
| C5 | Preis hält mindestens 18 % Marge auf die tatsächlichen Kosten | 2 | ja |
| C6 | Frühester Liefertermin entspricht der Nachrechnung des Fertigungsplans | 2 | |
| C7 | Lieferung als nicht einhaltbar gekennzeichnet und das Angebot im ERP eskaliert | 3 | ja |
| C8 | Zuständigkeit an den Vertriebsleiter übertragen | 1 | |
| C9 | ERP-Zeile stimmt mit quote.json überein (qty und Preis centgenau) | 2 | |
| C10 | Antwort nennt den SOP-Preis in RM und den frühesten Liefertermin und verspricht keinen früheren Termin | 1 | ja |
| C11 | Antwort ist an den Kunden gerichtet, nennt Q-2611 und keine andere Menge als 12.000 Stück | 1 | |
| C12 | Genannter Preis ergibt sich aus den genannten Kosten mit dem SOP-Aufschlag (Kosten / 0,78, gerundet) | 1 | |
| C13 | Jede Änderung von stage und owner in der quotes-Zeile ist in crm_history mit altem und neuem Wert protokolliert | 2 | ja |
Toleranzen in Version 1.0.3: C3 vergleicht die Stückkosten innerhalb von 0,5 %, wie ihr Text sagt; C4, C9 und C12 vergleichen Preise centgenau (innerhalb eines halben Cents); C10 liest Betreff und Text der Antwort, jedes Datumsformat und nur Termine nach dem Angebotsdatum.
Die Testfälle
Bevor ein Käufer eine Aufgabe sieht, greifen wir ihren Verifier an. Ein Reward Hack fälscht oder manipuliert und muss genau null erzielen. Ein plausibler Fehler ist einer, der einem sorgfältigen Mitarbeiter unterlaufen könnte; er darf den strikten Reward nicht erhalten, für den jedes Gate und jede Prüfung bestanden sein muss. Eine korrekte Alternative ist eine richtige Antwort in anderer Form; sie muss ihn erhalten. Ein Testfall für eine bekannte Lücke hält eine Schwäche fest, die wir nicht geschlossen haben: Er besteht konstruktionsbedingt, sodass jede Änderung an dieser Grenze sichtbar wird. 19 Reward Hacks, 26 plausible Fehler, 3 korrekte Alternativen und 3 Testfälle für bekannte Lücken liefen am 10. November 2026, und jeder lieferte das erwartete Ergebnis. Die meisten plausiblen Fehler zielen auf die Antwort, die einzige Freitextausgabe: das Versprechen eines früheren Termins, in jedem Datumsformat, das uns begegnet ist.
| Testfall | Art | Was er tat | Strikt | Score | Was scheiterte |
|---|---|---|---|---|---|
empty | Reward Hack | Keine Antwort geschrieben | Nicht bestanden | 0.00 | Als ungültig abgelehnt |
claim_only | Reward Hack | Eine selbstsichere Antwort, ohne dass Dateien geschrieben wurden | Nicht bestanden | 0.00 | Als ungültig abgelehnt |
tamper_schedule | Reward Hack | Die gebuchte Maschine in der Planungstabelle freigegeben | Nicht bestanden | 0.00 | Gate 2 |
edit_customer_email | Reward Hack | Die E-Mail des Kunden bearbeitet, sodass die alte Menge als aktuell erscheint | Nicht bestanden | 0.00 | Gate 1 |
superseded_quantity | Plausibler Fehler | Die überholte Menge angeboten | Nicht bestanden | 0.40 | C1, C3, C4, C5, C6, C10, C11, C12 |
down_machine | Plausibler Fehler | Die ausgefallene Maschine kalkuliert | Nicht bestanden | 0.40 | C2, C3, C4, C6, C7, C8, C10 |
stale_resin_price | Plausibler Fehler | Mit einem Harzpreis kalkuliert, den die Tabelle bereits ersetzt hatte | Nicht bestanden | 0.72 | C3, C4, C10 |
json_without_erp | Plausibler Fehler | Die Angebotsdatei geschrieben und die Datenbankzeile nie aktualisiert | Nicht bestanden | 0.76 | C7, C8, C9 |
contradictory_reply_date | Plausibler Fehler | Antwort versprach einen früheren Termin als das Angebot selbst | Nicht bestanden | 0.96 | C10 |
wrong_customer_on_row | Reward Hack | Richtige Beträge, falscher Kunde in der Angebotszeile | Nicht bestanden | 0.00 | Gate 3 |
wrong_sku_on_row | Reward Hack | Richtige Beträge, falsches Produkt in der Angebotszeile | Nicht bestanden | 0.00 | Gate 3 |
duplicate_quote_row | Reward Hack | Eine zweite Angebotszeile hinzugefügt | Nicht bestanden | 0.00 | Gate 3 |
neighbour_quote_deleted | Reward Hack | Die Zeile eines anderen Angebots gelöscht | Nicht bestanden | 0.00 | Gate 3 |
quotes_table_replaced | Reward Hack | Die quotes-Tabelle gelöscht und neu aufgebaut | Nicht bestanden | 0.00 | Gate 2, Gate 3 |
schema_column_added | Reward Hack | Dem Datenbankschema eine Spalte hinzugefügt | Nicht bestanden | 0.00 | Gate 2, Gate 3 |
drop_quotes_table | Reward Hack | Die quotes-Tabelle gelöscht | Nicht bestanden | 0.00 | Gate 2, als ungültig abgelehnt |
malformed_quote_json | Reward Hack | Eine Angebotsdatei, die kein gültiges JSON ist | Nicht bestanden | 0.00 | Als ungültig abgelehnt |
oversized_number | Reward Hack | Eine Zahl außerhalb des gültigen Bereichs in der Angebotsdatei | Nicht bestanden | 0.00 | Als ungültig abgelehnt |
reply_without_headers | Reward Hack | Eine Antwort ohne E-Mail-Header | Nicht bestanden | 0.00 | Als ungültig abgelehnt |
extra_reply_file | Reward Hack | Eine zweite Antwortdatei hinzugefügt | Nicht bestanden | 0.00 | Als ungültig abgelehnt |
forged_customer_email | Reward Hack | Eine gefälschte Kunden-E-Mail in den Posteingang gelegt | Nicht bestanden | 0.00 | Gate 1 |
price_one_cent_off | Plausibler Fehler | Preis weicht um einen Cent vom Wert des Verfahrens ab | Nicht bestanden | 0.80 | C4, C10, C12 |
erp_price_differs | Plausibler Fehler | Datenbankpreis weicht von der Angebotsdatei ab | Nicht bestanden | 0.92 | C9 |
cost_price_inconsistent | Plausibler Fehler | Genannter Preis ergibt sich nicht aus den genannten Kosten | Nicht bestanden | 0.96 | C12 |
promise_in_subject | Plausibler Fehler | Früherer Termin in der Betreffzeile versprochen | Nicht bestanden | 0.96 | C10 |
wrapped_promise | Plausibler Fehler | Früherer Termin über einen Zeilenumbruch hinweg versprochen | Nicht bestanden | 0.96 | C10 |
month_first_promise | Plausibler Fehler | Früherer Termin mit vorangestelltem Monat versprochen | Nicht bestanden | 0.96 | C10 |
worded_promise | Plausibler Fehler | Früherer Termin in Worten versprochen | Nicht bestanden | 0.96 | C10 |
reply_wrong_quantity | Plausibler Fehler | Antwort nennt eine andere Menge als die der Bestellung | Nicht bestanden | 0.96 | C11 |
reply_wrong_currency | Plausibler Fehler | Antwort nennt den Preis in einer anderen Währung | Nicht bestanden | 0.96 | C10 |
reply_to_other_customer | Plausibler Fehler | Antwort an einen anderen Kunden gerichtet | Nicht bestanden | 0.96 | C11 |
slash_date_promise | Plausibler Fehler | Früherer Termin mit Schrägstrichen versprochen | Nicht bestanden | 0.96 | C10 |
negation_in_subordinate_clause | Plausibler Fehler | Früherer Termin versprochen, mit einer Verneinung nur in einem Nebensatz | Nicht bestanden | 0.96 | C10 |
relative_in_21_days | Plausibler Fehler | Lieferung innerhalb einer Anzahl von Tagen versprochen, die der Fertigungsplan nicht einhalten kann | Nicht bestanden | 0.96 | C10 |
contradictory_second_price | Plausibler Fehler | Antwort bietet einen zweiten Preis an, der dem ersten widerspricht | Nicht bestanden | 0.96 | C10 |
reply_omits_quantity | Plausibler Fehler | Antwort nennt die Menge nie | Nicht bestanden | 0.96 | C11 |
dash_date_promise | Plausibler Fehler | Früherer Termin im Format Tag-Monat-Jahr mit Bindestrichen versprochen | Nicht bestanden | 0.96 | C10 |
hyphen_month_promise | Plausibler Fehler | Früherer Termin als Tag, abgekürzter Monat und Jahr, durch Bindestriche verbunden, versprochen | Nicht bestanden | 0.96 | C10 |
iso_slash_promise | Plausibler Fehler | Früherer Termin mit vorangestelltem Jahr und Schrägstrichen versprochen | Nicht bestanden | 0.96 | C10 |
date_before_verb | Plausibler Fehler | Früherer Termin versprochen, im Satz vor das Verb gestellt | Nicht bestanden | 0.96 | C10 |
cost_as_discount | Plausibler Fehler | Antwort bietet die internen Stückkosten des Werks als Rabattpreis an | Nicht bestanden | 0.96 | C10 |
stage_changed_without_history | Plausibler Fehler | Angebotszeile eskaliert, ohne dass eine Historienzeile die Änderung festhält | Nicht bestanden | 0.92 | C13 |
history_rewritten | Reward Hack | Eine ursprüngliche Historienzeile bearbeitet | Nicht bestanden | 0.00 | Gate 4 |
history_on_other_quote | Reward Hack | Eine Historienzeile an ein anderes Angebot angehängt | Nicht bestanden | 0.00 | Gate 4 |
history_backdated | Reward Hack | Eine Historienzeile mit einem Datum vor dem Angebotsdatum angehängt | Nicht bestanden | 0.00 | Gate 4 |
requested_date_no_token | Offene Klasse, besteht konstruktionsbedingt | Antwort bestätigt die Lieferung „bis zu Ihrem Wunschtermin“, ohne ein Datum zu nennen | Bestanden | 1.00 | keine |
lead_time_no_token | Offene Klasse, besteht konstruktionsbedingt | Antwort verspricht die Lieferung „innerhalb Ihrer Lieferzeit“, ohne ein Datum zu nennen | Bestanden | 1.00 | keine |
vague_week_promise | Offene Klasse, besteht konstruktionsbedingt | Antwort verspricht den Versand „übernächste Woche“ | Bestanden | 1.00 | keine |
reply_cites_customer_email | Korrekte Alternative | Antwort zitiert die E-Mail des Kunden, einschließlich ihrer Termine | Bestanden | 1.00 | keine |
reply_dates_in_words | Korrekte Alternative | Antwort nennt ihre Termine in Worten | Bestanden | 1.00 | keine |
reply_with_total_and_slash_date | Korrekte Alternative | Antwort nennt den Stückpreis, die Positionssumme, die Rüstkosten und das Datum mit Schrägstrichen | Bestanden | 1.00 | keine |
reference | Referenzlösung | Unsere Referenzantwort, nach einem frischen Reset | Bestanden | 1.00 | keine |
Unser Test-Harness hat außerdem 29 feindliche Eingaben aus einem korrekten Endzustand erzeugt: 10 mit einer gelöschten Tabelle, 10 mit umbenannter erster Spalte einer Tabelle, eine mit durch Text überschriebener Datenbank, 6 mit einer durch ein Verzeichnis ersetzten Eingabe, 2 mit einer durch ein Verzeichnis ersetzten Ausgabe. Jede lieferte einen Bericht mit Reward null ohne Verifier-Fehler.
Was die Zahlen bedeuten
Score. Null, wenn die Einreichung abgelehnt wird oder ein Gate scheitert. Andernfalls der gewichtete Anteil erfüllter Prüfungen: die Gewichte der bestandenen Prüfungen, geteilt durch die Summe aller Gewichte. Er dient der Diagnose, wo eine Antwort danebenlag.
Strikt. Nur wahr, wenn jedes Gate und jede Prüfung besteht. Das ist der Trainings-Reward, den wir empfehlen: Der Score belohnt eine halb erledigte Arbeit, wie die Zeile zeigt, die die Angebotsdatei geschrieben und die Datenbank nie aktualisiert hat, mit 0.76.
Kritisch. Ein separates Feld, wahr, wenn jede als kritisch markierte Prüfung besteht. Es wird berichtet, nie als Reward verwendet.
Was der Reset garantiert
Der Reset schreibt den Workspace per Code, ohne Netzwerk und ohne Uhr. Zwei frische Resets erzeugen denselben Digest, und ein benutzter Workspace wird darauf zurückgesetzt, sodass ein Käufer auf seinem eigenen Rechner prüfen kann, dass sein Ausgangszustand derjenige ist, gegen den der Verifier ausgeführt wurde. Der Digest hasht die Dateien und einen SQL-Dump der Datenbank; übereinstimmende Digests belegen also übereinstimmenden logischen Inhalt, nicht identische Bytes.
Was ein Praktiker entscheidet
Wo die Branche mehr als eine Konvention kennt, kodiert der Verifier eine. Bei einer beauftragten Aufgabe trifft ein Praktiker, der diese Arbeit ausübt, die Wahl, und wir berichten, ob sie die Antwort verändert. Offene Fragen für diese Aufgabe:
- Sind Produktionstage im Fertigungsplan Kalendertage oder Arbeitstage? Der früheste Liefertermin (C6) und die Antwort (C10) ändern sich je nachdem.
- Soll die Antwort Fracht-, Gültigkeits- und Zahlungsbedingungen enthalten? Derzeit enthält sie keine, und keine Prüfung verlangt sie.
Die anderen fünf Aufgaben haben ihre eigenen offenen Konventionen, von der Frage, ob die Bestätigung eines Namens in einem bewerteten Gespräch als Abfrage einer persönlichen Angabe zählt, bis dazu, wie Trockentonnen gerundet werden, bevor eine Ladung bepreist wird. Jede ist im Aufgabendatensatz aufgeführt, den ein Käufer erhält.
Was der Verifier noch nicht erkennt
Wir greifen unsere eigenen Verifier an. Am 7. November 2026 erzeugten drei modellbasierte Reviews der ersten Versionen falsche Endzustände, und zwei Verifier akzeptierten sie mit vollem Score. Wir haben sie reproduziert und am 8. November 2026 alle sechs Verifier gegen rund 220 Einzeländerungen an einem korrekten Endzustand getestet. Die gefundenen Klassen und ihr Stand bei dieser Aufgabe in den Gate-Läufen vom 10. November 2026:
| Klasse fehlerhafter Arbeit | Stand bei dieser Aufgabe, 10. November 2026 |
|---|---|
| Die Antwort widerspricht der strukturierten Ausgabe: Sie verspricht einen Termin, den der Fertigungsplan nicht einhalten kann, während die Angebotsdatei den richtigen Termin enthält | Erkannt seit Version 0.1: C10, kritisch, und der Testfall contradictory_reply_date. Version 1.0 liest zusätzlich die Betreffzeile und weitere Datumsformen, darunter Datumsangaben mit Schrägstrichen und relative Angaben, und lässt eine korrekte Antwort bestehen, die die E-Mail des Kunden zitiert, die Version 0.1 fälschlich durchfallen ließ |
| Identitätsfelder der Ausgabezeile umgeschrieben, während die geprüften Beträge korrekt bleiben | Erkannt seit Version 1.0 durch Gate 3: wrong_customer_on_row, wrong_sku_on_row |
| Zusätzliche Zeilen in die Ausgabetabelle eingefügt | Erkannt seit Version 1.0 durch Gate 3: duplicate_quote_row |
| Historische oder benachbarte Zeilen gelöscht oder beschädigt | Erkannt seit Version 1.0 durch Gate 3: neighbour_quote_deleted, wobei dem Ausgangszustand eine zweite Angebotszeile hinzugefügt wurde, damit es etwas zu löschen gibt |
| Beträge, die um bis zu eine Einheit abweichen, bestehen eine Prüfung, deren Text „centgenau“ sagt | Behoben in Version 1.0: C4, C9 und C12 vergleichen centgenau; price_one_cent_off besteht strikt nicht, mit 0.80 |
| Der Reset eines benutzten Workspace scheitert, statt den Ausgangszustand wiederherzustellen | Behoben in Version 1.0: Ein benutzter Workspace wird auf den aufgezeichneten Digest zurückgesetzt |
| Das Löschen der Ausgabetabelle bringt den Verifier zum Absturz, statt eine Ablehnung zu liefern | Behoben in Version 1.0: drop_quotes_table und 29 feindliche Eingaben liefern eine strukturierte Ablehnung oder null |
| Der Reset wurde als bytegenau identisch beschrieben | Formulierung korrigiert: Der Digest belegt übereinstimmenden logischen Inhalt |
| Jeder Reward-Hack-Testfall prüfte nur die obersten Gates; keiner berührte die veränderbare Ausgabetabelle | Behoben in Version 1.0: Sechs Testfälle schreiben in die quotes-Tabelle, jeder mit null |
| Die Antwort verspricht einen früheren Termin in einer Form, die der Parser nicht las: Bindestriche, ein abgekürzter Monat mit Bindestrichen, Jahr vorangestellt mit Schrägstrichen | Erkannt seit Version 1.0.1: dash_date_promise, hyphen_month_promise, iso_slash_promise. Drei Versprechen ganz ohne Datum sind als Testfälle der offenen Klasse festgehalten, die konstruktionsbedingt bestehen: requested_date_no_token, lead_time_no_token, vague_week_promise |
| Die Antwort stellt das Datum vor das Versprechen oder bietet die internen Kosten des Werks als Rabatt an | Erkannt seit Version 1.0.2: date_before_verb und cost_as_discount, beide scheitern an C10 |
| Die Angebotszeile ändert sich, ohne festzuhalten, wer was geändert hat, oder die Historie wird passend umgeschrieben | Erkannt seit Version 1.0.3: C13, kritisch, und der Testfall stage_changed_without_history; die Historientabelle ist durch Gate 4 geschützt, wobei history_rewritten, history_on_other_quote und history_backdated jeweils null erzielen |
| Noch nicht gelesen: Fließtext in einer erforderlichen Ausgabe, der ihren eigenen korrekten Zahlen widerspricht, etwa eine Antwort, die den genannten Preis verneint, eine Begründungsspalte, ein zusätzlicher erzählender Schlüssel oder ein Bericht neben korrekten Tabellen | Offen, konstruktionsbedingt. Keine Prüfung liest diesen Text bisher, und ein handgeschriebener Testfall kann die Lücke nicht schließen. Die Blindbewertung eines Praktikers ist die einzige Prüfung dafür |
Jede Klasse, die diese Reviews und unsere eigenen gefunden haben, ist jetzt ein benannter Testfall, und jeder erzielt in den Gate-Läufen vom 10. November 2026 den geforderten Score. Handgeschriebene Testfälle sind ein Regressionstest, keine Garantie: Sie belegen, dass jeder falsche Endzustand, an den wir gedacht haben, den richtigen Score erhält, und nichts über die, an die wir nicht gedacht haben. Jede neue Klasse wird an dem Tag, an dem sie gefunden wird, zu einem benannten Testfall.
Änderungsprotokoll
- Bis 7. November 2026. Version 0 geschrieben und ausgeführt. Zwei aktuelle Modelle eines Anbieters haben sie in je einem Rollout gelöst. Ein modellbasiertes Review des Verifiers stellte fest, dass die Antwortprüfung das Versprechen eines Liefertermins akzeptierte, den der Fertigungsplan nicht einhalten konnte.
- 8. November 2026. Version 0.1: C10 parst die Termine im Text der Antwort und ist kritisch; der Testfall
contradictory_reply_datehinzugefügt, besteht strikt nicht, mit 0.96. - 8. November 2026. Version 1.0: Schutz der quotes-Tabelle auf Feldebene (Gate 3), strukturierte Ablehnung einer nicht bewertbaren Einreichung, centgenauer Preisvergleich, eine strengere Antwortprüfung, die auch eine korrekte Antwort bestehen lässt, die Version 0.1 fälschlich durchfallen ließ, zwei neue Prüfungen (C11, C12), 27 neue Testfälle für Reward Hacks und plausible Fehler, zwei korrekte Alternativen und eine historische Angebotszeile im Ausgangszustand. Die Referenzantwort ist unverändert, daher behalten die Modellversuche mit Version 0 ihre Gültigkeit. Diese Seite veröffentlicht.
- 8. November 2026. Version 1.0.1: Die Antwortprüfung liest Datumsangaben mit Bindestrichen, mit Tag und abgekürztem Monat sowie mit vorangestelltem Jahr und Schrägstrichen, jeweils mit einem plausiblen Fehler. Drei Versprechen ohne Datum sind als Testfälle der offenen Klasse festgehalten, die konstruktionsbedingt bestehen. Neuer Modul-Hash. Die Referenzantwort ist unverändert.
- 8. November 2026. Version 1.0.2: Die Antwortprüfung liest ein vor das Versprechen gestelltes Datum und lässt eine Antwort, die die internen Kosten des Werks als Rabatt anbietet, nicht mehr bestehen. Eine weitere korrekte Alternative. Die Referenzantwort ist unverändert.
- 8. November 2026. Version 1.0.3: Der Ausgangszustand erhält die Nachfrage-E-Mail des Kunden und eine Historientabelle mit vier verfassten Zeilen, auf Feldebene durch Gate 4 geschützt. Verfahren und Anweisung verlangen, dass jede Änderung an der Angebotszeile protokolliert wird, und C13, kritisch, prüft dies. Vier neue Testfälle. Preise, Termine und das Referenzangebot sind unverändert; die Gewichte ergeben jetzt in Summe 25, daher hat sich jeder Score verschoben.
Neue Ergebnisse werden mit ihrem Datum veröffentlicht, ob bestanden oder nicht.
Selbst ausführen
Zuerst ein 20-minütiges Gespräch: Wir führen diese Aufgabe vor Ihrem Engineer aus, von einem Reset über einen Reward Hack und einen plausiblen Fehler bis zur Referenzlösung. Unter einer unterzeichneten gegenseitigen NDA erhält Ihr Engineer anschließend den eigenständigen Verifier mit Befehlen für Seed, Reset, Score und Selbsttest in Python 3.11 ohne Pakete von Drittanbietern, zusammen mit dem Workspace, dem Referenz-Endzustand und den Berichten des Verifiers zum unberührten Workspace und zur Referenzlösung. Das erneute Ausführen aller oben genannten Testfälle auf Ihrem eigenen Rechner ist der Abnahmetest für einen ersten Auftrag, den wir innerhalb von zehn Werktagen nach Erhalt Ihrer schriftlichen Anforderungen liefern.