Identidade
- Tarefa
mfg-rfq-001, versão 1.0.3, verificador congelado por hash- Família
- packaging-quotation, dificuldade easy, conforme rotulado no arquivo público de gates
- Resultado
unresolved, por construção: o episódio termina quando a resposta é enviada, antes de o cliente responder; um profissional cria o rótulo na v1.1- Domínio
- Manufatura: embalagens plásticas, uma solicitação de cotação respondida com um orçamento
- Status
- Demonstração pública; divulgada na íntegra e não está à venda.
- Gates executados
- 10 de novembro de 2026, Python 3.11.8, apenas gates determinísticos: nenhuma execução de modelo, nenhum avaliador humano, nenhum treinamento
- Tentativas de modelos
- Versão 0, em 7 de novembro de 2026 ou antes: dois modelos atuais de um mesmo provedor, um deles do seu nível menor, um rollout cada, ambos pontuaram 1,0 e obtiveram aprovação estrita. As versões posteriores, que reforçaram o verificador e mantiveram a resposta de referência inalterada, são executadas em seguida
O trabalho
Um executivo de vendas de uma fábrica de embalagens precisa enviar um orçamento hoje. O segundo e-mail do cliente reduziu o pedido e mudou a data de entrega, o chat da produção transferiu o trabalho para outra máquina porque a habitual está parada, e o procedimento de orçamentação diz como custear, precificar e escalonar. A instrução, como o agente a recebe:
Você é o executivo de vendas (sales_exec_2) da Tembaga Ridge Packaging. Hoje é 16 de nov. de 2026. Envie hoje o orçamento Q-2611 para a Selat Biru Agrochem. Leia a caixa de entrada e o chat da produção, sigadocs/SOP-Q-07.md, atualize a linha de quotes emerp/plant.db, registre emcrm_historycada alteração que fizer nela e graveout/quote.json(qty, machine, unit_cost_rm, unit_price_rm, earliest_delivery como YYYY-MM-DD, meets_requested_delivery) eout/reply.eml.
A resposta certa usa a quantidade mais recente, a máquina confirmada e o preço atual da resina, recalcula o custo e o preço pelo procedimento, encontra o primeiro horário disponível na programação, marca a data solicitada como não atendida, escalona o orçamento no banco de dados, registra cada alteração que faz na linha do orçamento e escreve uma resposta que não promete nada que a programação não possa cumprir.
Ler o estado inicial
Os valores monetários aparecem como [amount] nesta página; os arquivos completos vão para o seu engenheiro sob NDA. A resposta de referência é propositalmente mínima: o verificador lê o preço, a quantidade e as datas, não o tom.
Os arquivos da própria tarefa, na ordem em que um profissional os encontra, depois o estado final de referência e um erro plausível. Cada folha é gerada a partir da tarefa quando a página é construída, então não pode divergir dos arquivos que o verificador lê. O marca-texto destaca os fatos que mudaram e a linha que o verificador detectou.
A caixa de entrada, quatro mensagens
inbox/001.eml9 Nov 2026, 10:14
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- RFQ - 20 L jerrican
Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.
Procurement, Selat Biru Agrochem
inbox/002.eml13 Nov 2026, 15:31
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised)
Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.
Procurement, Selat Biru Agrochem
inbox/003.eml16 Nov 2026, 08:40
- From
- sales.director@tembagaridge.example
- To
- sales_exec_2@tembagaridge.example
- Subject
- Q-2611 today please
Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.
inbox/000.eml16 Nov 2026, 09:05
- From
- procurement@selatbiru.example
- To
- sales@tembagaridge.example
- Subject
- Re: RFQ - 20 L jerrican (revised) - quotation?
Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.
Procurement, Selat Biru Agrochem
O chat da produção
chat/production.json#production
BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.
Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.
Reminder: drop test on the blue 10 L pails is at 2pm.
O procedimento
docs/SOP-Q-07.mdThe quoting procedure
SOP-Q-07 Quotation costing and disposition (blow moulding)
- Governing request. The latest written customer amendment governs quantity, colour and delivery.
- Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
- Unit cost in RM per piece:
- material mass = part mass x (1 + 3% scrap)
- coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
- material cost = resin kg x resin price + masterbatch kg x masterbatch price
- resin price = the row with the latest effective_date on or before the quotation date
- machine cost = cycle seconds / cavities / 3600 x machine rate per hour
- set-up = [amount] per job / quantity
- unit cost = material + machine + set-up
- Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
- MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
- Delivery.
- production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
- first free day = the day after booked_until in machine_schedule
- earliest delivery = first free day + production days + 3 days QC and dispatch
- Disposition, in the quotes table:
- delivery can be met: stage QUOTED, owner stays with the sales executive
- delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
- Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.
O banco de dados antes do trabalho
erp/plant.dbThe tables the job touches or reads
quotes2 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2604 | C-0388 | PL10 | 20000 | [amount] | QUOTED | sales_exec_2 |
| Q-2611 | C-0417 | JC20 | 50000 | null | ENQUIRY | sales_exec_2 |
machine_schedule2 rows
machine_id | booked_until |
|---|---|
| BM-03 | 2026-11-27 |
| BM-07 | 2026-12-09 |
machines2 rows
id | status | rate_rm_per_hr | hours_per_day |
|---|---|---|---|
| BM-07 | DOWN | [amount] | 20.0 |
| BM-03 | RUNNING | [amount] | 20.0 |
crm_history4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 1 | Q-2604 | 2026-11-02 14:10 | sales_exec_2 | stage | ENQUIRY | QUOTED | PL10 20,000 pcs quoted at [amount] |
| 2 | Q-2611 | 2026-11-09 10:40 | sales_exec_2 | stage | null | ENQUIRY | RFQ received: 50,000 pcs JC20 natural, delivery Port Klang |
| 3 | Q-2611 | 2026-11-13 16:02 | sales_exec_2 | note | null | null | Customer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending |
| 4 | Q-2611 | 2026-11-16 08:45 | sales_exec_2 | note | null | null | Sales director: quote out today per SOP-Q-07, check with production first |
O estado final de referência
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-03",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-12-11",
"meets_requested_delivery": false
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.
erp/plant.dbAfter the work
quotes, the Q-2611 row1 rows
id | customer_id | sku | qty | unit_price_rm | stage | owner |
|---|---|---|---|---|---|---|
| Q-2611 | C-0417 | JC20 | 12000 | [amount] | ESCALATED_LEADTIME | sales_mgr_1 |
crm_history, rows the work added4 rows
id | quote_id | ts | actor | field | old_value | new_value | note |
|---|---|---|---|---|---|---|---|
| 5 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | qty | 50000 | 12000 | Q-2611 re-quoted per SOP-Q-07 |
| 6 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | unit_price_rm | null | [amount] | Q-2611 re-quoted per SOP-Q-07 |
| 7 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | stage | ENQUIRY | ESCALATED_LEADTIME | Q-2611 re-quoted per SOP-Q-07 |
| 8 | Q-2611 | 2026-11-16 11:00 | sales_exec_2 | owner | sales_exec_2 | sales_mgr_1 | Q-2611 re-quoted per SOP-Q-07 |
O verificador: Aprovado · pontuação 1.00
Relatório bruto do verificador, solução de referência
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": true,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": true,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": true,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": true,
"reward": 1.0,
"rejection": null
}Um erro plausível: custeou a máquina que está parada
A sonda down_machine. Erro plausível. Os seus arquivos e o que o verificador detectou.
out/quote.jsonJSON
{
"quote_id": "Q-2611",
"qty": 12000,
"machine": "BM-07",
"unit_cost_rm": "[amount]",
"unit_price_rm": "[amount]",
"earliest_delivery": "2026-11-27",
"meets_requested_delivery": true
}out/reply.eml16 Nov 2026, 11:00
- From
- sales_exec_2@tembagaridge.example
- To
- procurement@selatbiru.example
- Subject
- Quotation Q-2611
Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.
O verificador: Reprovado · pontuação 0.40
C2A máquina é a que a produção confirmou (BM-03), não a máquina paradaC3Custo unitário dentro de 0,5% do recálculo pelo SOPC4Preço unitário igual ao preço do SOP, ao centavoC6A data de entrega mais próxima coincide com o recálculo da programaçãoC7Entrega marcada como não atendida e orçamento escalonado no ERPC8Responsável reatribuído ao gerente de vendasC10A resposta informa o preço do SOP em RM e a data de entrega mais próxima, e não promete nenhuma data anterior
Relatório bruto do verificador, down_machine
{
"gates": [
{
"name": "inputs untouched and no file added under inbox/, chat/ or docs/",
"passed": true
},
{
"name": "protected ERP tables and the database schema untouched",
"passed": true
},
{
"name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
"passed": true
},
{
"name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
"passed": true
}
],
"criteria": [
{
"id": "C1",
"desc": "Quantity follows the latest amendment (12,000)",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C2",
"desc": "Machine is the one production confirmed (BM-03), not the down machine",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C3",
"desc": "Unit cost within 0.5% of the SOP recomputation",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C4",
"desc": "Unit price equals the SOP price to the cent",
"passed": false,
"weight": 3,
"critical": false
},
{
"id": "C5",
"desc": "Price keeps at least an 18% margin on the true cost",
"passed": true,
"weight": 2,
"critical": true
},
{
"id": "C6",
"desc": "Earliest delivery date matches the schedule recomputation",
"passed": false,
"weight": 2,
"critical": false
},
{
"id": "C7",
"desc": "Delivery marked as not met and the quote escalated in the ERP",
"passed": false,
"weight": 3,
"critical": true
},
{
"id": "C8",
"desc": "Owner reassigned to the sales manager",
"passed": false,
"weight": 1,
"critical": false
},
{
"id": "C9",
"desc": "ERP row agrees with quote.json (qty, and price to the cent)",
"passed": true,
"weight": 2,
"critical": false
},
{
"id": "C10",
"desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
"passed": false,
"weight": 1,
"critical": true
},
{
"id": "C11",
"desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C12",
"desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
"passed": true,
"weight": 1,
"critical": false
},
{
"id": "C13",
"desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
"passed": true,
"weight": 2,
"critical": true
}
],
"strict_pass": false,
"reward": 0.4,
"rejection": null
}O que observar
- O segundo e-mail substitui o primeiro.
- A restrição está apenas no chat.
- A resposta não pode prometer uma data que a programação não consegue cumprir.
- O verificador lê os arquivos e as linhas, nunca as afirmações da resposta.
- Toda alteração na linha do orçamento precisa ser registrada na tabela de histórico, com a data do orçamento.
As cinco partes nesta versão
- E-mails do cliente
- Presente: a consulta, a revisão, a nota do diretor e a cobrança, quatro mensagens na caixa de entrada
- Discussão interna
- Presente: o chat da produção, três linhas
- Documentos relacionados
- Presente: o procedimento de orçamentação
- Registro de histórico
- Presente: a tabela de histórico, quatro linhas criadas antes de o trabalho começar. Cada alteração na linha do orçamento precisa adicionar uma, o que é verificado pela C13
- Rótulo de resultado
- Presente no registro da tarefa, criado como “não resolvido”. Por construção: o episódio termina quando a resposta é enviada, antes de o cliente responder; um profissional cria o rótulo na v1.1
O espaço de trabalho
Toda execução começa com os mesmos arquivos e o mesmo banco de dados, gravados do zero pelo próprio reset da tarefa.
| Caminho | O que contém após o reset |
|---|---|
chat/production.json | 639 bytes |
docs/SOP-Q-07.md | 1877 bytes |
erp/plant.db | crm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3) |
inbox/000.eml | 324 bytes |
inbox/001.eml | 272 bytes |
inbox/002.eml | 364 bytes |
inbox/003.eml | 240 bytes |
Digest do reset, SHA-256 do espaço de trabalho inicial com o banco de dados tomado como o seu dump SQL: 3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d. Reset determinístico a partir de um diretório vazio: sim. Um espaço de trabalho usado volta ao mesmo digest: sim.
O que o agente pode ler e alterar
- Leitura
- As quatro mensagens da caixa de entrada, o chat da produção, o procedimento de orçamentação e qualquer tabela do banco de dados.
- Escrita
out/quote.jsoncom os campos exigidos,out/reply.eml, quatro campos da única linha de orçamento que a instrução indica: quantidade, preço unitário, etapa e responsável, e uma nova linha na tabela de histórico para cada uma dessas alterações.- Não pode tocar
- Os arquivos de entrada, as pastas de entrada, as demais tabelas, o esquema do banco de dados, todos os outros campos e linhas da tabela quotes e todas as linhas de histórico que já existiam no início. Qualquer alteração nesses itens reprova um gate, e a execução pontua zero, independentemente do que mais tenha feito.
Gates e verificações
Uma submissão que o verificador não consegue pontuar, porque uma saída exigida está ausente, malformada ou danificada, é rejeitada como inválida com recompensa zero, com um motivo estruturado em vez de um travamento. Depois, quatro gates. Se qualquer um falhar, a recompensa é zero, sem nenhuma verificação contada.
- entradas intactas e nenhum arquivo adicionado em inbox/, chat/ ou docs/.
- tabelas protegidas do ERP e esquema do banco de dados intactos.
- tabela quotes: apenas qty, unit_price_rm, stage e owner de Q-2611 alterados; nenhuma linha adicionada, removida ou reidentificada.
- crm_history: linhas iniciais intactas; linhas acrescentadas apenas para Q-2611 e com a data do orçamento.
Depois, treze verificações, cada uma recalculada pelo verificador a partir de uma cópia nova do estado inicial e comparada com os arquivos e as linhas do banco de dados em disco. O verificador nunca lê o que o agente diz que fez. Os pesos somam 25; 5 verificações são críticas.
| Verificação | O que precisa ser verdade | Peso | Crítica |
|---|---|---|---|
| C1 | A quantidade segue a alteração mais recente (12.000) | 2 | sim |
| C2 | A máquina é a que a produção confirmou (BM-03), não a máquina parada | 2 | |
| C3 | Custo unitário dentro de 0,5% do recálculo pelo SOP | 3 | |
| C4 | Preço unitário igual ao preço do SOP, ao centavo | 3 | |
| C5 | O preço mantém uma margem de pelo menos 18% sobre o custo real | 2 | sim |
| C6 | A data de entrega mais próxima coincide com o recálculo da programação | 2 | |
| C7 | Entrega marcada como não atendida e orçamento escalonado no ERP | 3 | sim |
| C8 | Responsável reatribuído ao gerente de vendas | 1 | |
| C9 | A linha do ERP é coerente com quote.json (qty e preço, ao centavo) | 2 | |
| C10 | A resposta informa o preço do SOP em RM e a data de entrega mais próxima, e não promete nenhuma data anterior | 1 | sim |
| C11 | A resposta é dirigida ao cliente, identifica Q-2611 e não menciona nenhuma quantidade além de 12.000 pçs | 1 | |
| C12 | O preço informado decorre do custo informado segundo o markup do SOP (custo / 0,78, arredondado) | 1 | |
| C13 | Cada alteração de stage e owner na linha de quotes é registrada em crm_history com o valor antigo e o novo | 2 | sim |
Tolerâncias na versão 1.0.3: a C3 compara o custo unitário dentro de 0,5%, como diz o seu texto; a C4, a C9 e a C12 comparam preços ao centavo (dentro de meio centavo); a C10 lê o assunto e o corpo da resposta, todos os formatos de data, e apenas datas posteriores à data do orçamento.
As sondas
Antes que um comprador veja uma tarefa, atacamos o seu verificador. Um reward hack falsifica ou adultera e precisa pontuar exatamente zero. Um erro plausível é um erro que um profissional cuidadoso poderia cometer; ele não pode obter a recompensa estrita, que exige a aprovação de todos os gates e de todas as verificações. Uma alternativa correta é uma resposta certa escrita de outra forma; ela precisa obtê-la. Uma sonda de lacuna conhecida registra uma fraqueza que ainda não corrigimos: ela é aprovada por design, para que qualquer mudança nesse limite apareça. 19 reward hacks, 26 erros plausíveis, 3 alternativas corretas e 3 sondas de lacunas conhecidas foram executados em 10 de novembro de 2026, e todos retornaram o resultado esperado. A maioria dos erros plausíveis tem como alvo a resposta, a única saída em texto livre: uma promessa de data anterior, em todos os formatos de data que já encontramos.
| Sonda | Tipo | O que fez | Estrita | Pontuação | O que reprovou |
|---|---|---|---|---|---|
empty | Reward hack | Nenhuma resposta gravada | Reprovado | 0.00 | Rejeitada como inválida |
claim_only | Reward hack | Uma resposta confiante sem nenhum arquivo gravado | Reprovado | 0.00 | Rejeitada como inválida |
tamper_schedule | Reward hack | Liberou a máquina reservada na tabela de programação | Reprovado | 0.00 | gate 2 |
edit_customer_email | Reward hack | Editou o e-mail do cliente para que a quantidade antiga pareça a atual | Reprovado | 0.00 | gate 1 |
superseded_quantity | Erro plausível | Orçou a quantidade já substituída | Reprovado | 0.40 | C1, C3, C4, C5, C6, C10, C11, C12 |
down_machine | Erro plausível | Custeou a máquina que está parada | Reprovado | 0.40 | C2, C3, C4, C6, C7, C8, C10 |
stale_resin_price | Erro plausível | Precificou com um preço de resina que a tabela já havia substituído | Reprovado | 0.72 | C3, C4, C10 |
json_without_erp | Erro plausível | Gravou o arquivo do orçamento e nunca atualizou a linha do banco de dados | Reprovado | 0.76 | C7, C8, C9 |
contradictory_reply_date | Erro plausível | A resposta prometeu uma data anterior à do próprio orçamento | Reprovado | 0.96 | C10 |
wrong_customer_on_row | Reward hack | Valores certos, cliente errado na linha do orçamento | Reprovado | 0.00 | gate 3 |
wrong_sku_on_row | Reward hack | Valores certos, produto errado na linha do orçamento | Reprovado | 0.00 | gate 3 |
duplicate_quote_row | Reward hack | Uma segunda linha de orçamento adicionada | Reprovado | 0.00 | gate 3 |
neighbour_quote_deleted | Reward hack | A linha de outro orçamento excluída | Reprovado | 0.00 | gate 3 |
quotes_table_replaced | Reward hack | A tabela quotes excluída e reconstruída | Reprovado | 0.00 | gate 2, gate 3 |
schema_column_added | Reward hack | Uma coluna adicionada ao esquema do banco de dados | Reprovado | 0.00 | gate 2, gate 3 |
drop_quotes_table | Reward hack | A tabela quotes excluída | Reprovado | 0.00 | gate 2, rejeitada como inválida |
malformed_quote_json | Reward hack | Um arquivo de orçamento que não é JSON válido | Reprovado | 0.00 | Rejeitada como inválida |
oversized_number | Reward hack | Um número fora do intervalo no arquivo de orçamento | Reprovado | 0.00 | Rejeitada como inválida |
reply_without_headers | Reward hack | Uma resposta sem cabeçalhos de e-mail | Reprovado | 0.00 | Rejeitada como inválida |
extra_reply_file | Reward hack | Um segundo arquivo de resposta adicionado | Reprovado | 0.00 | Rejeitada como inválida |
forged_customer_email | Reward hack | Um e-mail falso do cliente adicionado à caixa de entrada | Reprovado | 0.00 | gate 1 |
price_one_cent_off | Erro plausível | Preço um centavo diferente do valor do procedimento | Reprovado | 0.80 | C4, C10, C12 |
erp_price_differs | Erro plausível | O preço no banco de dados difere do arquivo de orçamento | Reprovado | 0.92 | C9 |
cost_price_inconsistent | Erro plausível | O preço informado não decorre do custo informado | Reprovado | 0.96 | C12 |
promise_in_subject | Erro plausível | Data anterior prometida na linha de assunto | Reprovado | 0.96 | C10 |
wrapped_promise | Erro plausível | Data anterior prometida com uma quebra de linha no meio | Reprovado | 0.96 | C10 |
month_first_promise | Erro plausível | Data anterior prometida no formato com o mês primeiro | Reprovado | 0.96 | C10 |
worded_promise | Erro plausível | Data anterior prometida por extenso | Reprovado | 0.96 | C10 |
reply_wrong_quantity | Erro plausível | A resposta menciona uma quantidade diferente da do pedido | Reprovado | 0.96 | C11 |
reply_wrong_currency | Erro plausível | A resposta informa o preço em outra moeda | Reprovado | 0.96 | C10 |
reply_to_other_customer | Erro plausível | Resposta dirigida a outro cliente | Reprovado | 0.96 | C11 |
slash_date_promise | Erro plausível | Data anterior prometida no formato com barras | Reprovado | 0.96 | C10 |
negation_in_subordinate_clause | Erro plausível | Data anterior prometida, com uma negação apenas em uma oração secundária | Reprovado | 0.96 | C10 |
relative_in_21_days | Erro plausível | Entrega prometida em um número de dias que a programação não consegue cumprir | Reprovado | 0.96 | C10 |
contradictory_second_price | Erro plausível | A resposta oferece um segundo preço que contradiz o primeiro | Reprovado | 0.96 | C10 |
reply_omits_quantity | Erro plausível | A resposta nunca informa a quantidade | Reprovado | 0.96 | C11 |
dash_date_promise | Erro plausível | Data anterior prometida no formato dia-mês-ano com traços | Reprovado | 0.96 | C10 |
hyphen_month_promise | Erro plausível | Data anterior prometida como dia, mês abreviado e ano unidos por hifens | Reprovado | 0.96 | C10 |
iso_slash_promise | Erro plausível | Data anterior prometida no formato com o ano primeiro e barras | Reprovado | 0.96 | C10 |
date_before_verb | Erro plausível | Data anterior prometida, colocada antes do verbo na frase | Reprovado | 0.96 | C10 |
cost_as_discount | Erro plausível | A resposta oferece o custo unitário interno da fábrica como preço com desconto | Reprovado | 0.96 | C10 |
stage_changed_without_history | Erro plausível | Linha do orçamento escalonada sem nenhuma linha de histórico registrando a alteração | Reprovado | 0.92 | C13 |
history_rewritten | Reward hack | Uma linha de histórico inicial editada | Reprovado | 0.00 | gate 4 |
history_on_other_quote | Reward hack | Uma linha de histórico acrescentada a outro orçamento | Reprovado | 0.00 | gate 4 |
history_backdated | Reward hack | Uma linha de histórico acrescentada com data anterior à data do orçamento | Reprovado | 0.00 | gate 4 |
requested_date_no_token | Classe em aberto, aprovada por design | A resposta confirma a entrega “até a data solicitada por você”, sem nenhuma data escrita | Aprovado | 1.00 | nenhuma |
lead_time_no_token | Classe em aberto, aprovada por design | A resposta promete a entrega “dentro do seu prazo de entrega”, sem nenhuma data escrita | Aprovado | 1.00 | nenhuma |
vague_week_promise | Classe em aberto, aprovada por design | A resposta promete enviar “na semana depois da próxima” | Aprovado | 1.00 | nenhuma |
reply_cites_customer_email | Alternativa correta | A resposta cita o e-mail do cliente, incluindo as suas datas | Aprovado | 1.00 | nenhuma |
reply_dates_in_words | Alternativa correta | A resposta informa as datas por extenso | Aprovado | 1.00 | nenhuma |
reply_with_total_and_slash_date | Alternativa correta | A resposta informa o preço unitário, o total da linha, a taxa de setup e a data no formato com barras | Aprovado | 1.00 | nenhuma |
reference | Solução de referência | A nossa resposta de referência, a partir de um reset novo | Aprovado | 1.00 | nenhuma |
O nosso harness de teste também construiu 29 entradas hostis a partir de um estado final correto: 10 com uma tabela excluída, 10 com a primeira coluna de uma tabela renomeada, uma com o banco de dados sobrescrito com texto, 6 com uma entrada substituída por um diretório, 2 com uma saída substituída por um diretório. Todas retornaram um relatório com recompensa zero, sem erro do verificador.
O que os números significam
Pontuação. Zero se a submissão for rejeitada ou se qualquer gate falhar. Caso contrário, a proporção ponderada das verificações atendidas: os pesos das verificações aprovadas divididos pela soma de todos os pesos. É um diagnóstico de onde uma resposta errou.
Estrito. Verdadeiro somente quando todos os gates e todas as verificações são aprovados. Esta é a recompensa de treinamento que recomendamos: a pontuação remunera um trabalho feito pela metade, como mostra, com 0.76, a linha que gravou o arquivo do orçamento e nunca atualizou o banco de dados.
Crítico. Um campo separado, verdadeiro quando todas as verificações marcadas como críticas são aprovadas. Ele é informado, nunca usado como recompensa.
O que o reset garante
O reset grava o espaço de trabalho a partir de código, sem rede e sem relógio. Dois resets novos produzem o mesmo digest, e um espaço de trabalho usado volta a ele, para que um comprador possa verificar na própria máquina que o estado inicial que tem é aquele contra o qual o verificador foi executado. O digest calcula o hash dos arquivos e de um dump SQL do banco de dados, então digests iguais comprovam conteúdo lógico igual, não bytes idênticos.
O que um profissional decide
Onde o setor tem mais de uma convenção, o verificador codifica uma. Em uma tarefa encomendada, um profissional que faz esse trabalho faz a escolha, e informamos se ela muda a resposta. Questões em aberto para esta tarefa:
- Os dias de produção na programação são dias corridos ou dias úteis? A data de entrega mais próxima (C6) e a resposta (C10) mudam conforme a resposta.
- A resposta deve incluir frete, validade e condições de pagamento? Hoje ela não inclui nenhum deles, e nenhuma verificação os pede.
As outras cinco tarefas têm as suas próprias convenções em aberto, desde se confirmar um nome conta como pedir um dado pessoal em uma chamada avaliada até como as toneladas secas são arredondadas antes de uma carga ser precificada. Cada uma está listada no registro da tarefa que o comprador recebe.
O que o verificador ainda não detecta
Nós atacamos os nossos próprios verificadores. Em 7 de novembro de 2026, três revisões feitas por modelos sobre as primeiras versões construíram estados finais errados, e dois verificadores os aceitaram com pontuação máxima. Nós os reproduzimos e, em 8 de novembro de 2026, testamos os seis verificadores contra cerca de 220 alterações únicas em um estado final correto. As classes encontradas e a sua situação nesta tarefa nos gates executados em 10 de novembro de 2026:
| Classe de trabalho errado | Situação nesta tarefa, 10 de novembro de 2026 |
|---|---|
| A resposta contradiz a saída estruturada: promete uma data que a programação não consegue cumprir, enquanto o arquivo do orçamento contém a data certa | Detectado desde a versão 0.1: C10, crítica, e a sonda contradictory_reply_date. A versão 1.0 também lê a linha de assunto e mais formatos de data, entre eles datas com barras e datas relativas, e aprova uma resposta correta que cita o e-mail do cliente, que a versão 0.1 reprovava indevidamente |
| Campos de identidade na linha de saída reescritos enquanto os valores verificados continuam certos | Detectado desde a versão 1.0 pelo gate 3: wrong_customer_on_row, wrong_sku_on_row |
| Linhas extras inseridas na tabela de saída | Detectado desde a versão 1.0 pelo gate 3: duplicate_quote_row |
| Linhas históricas ou vizinhas excluídas ou corrompidas | Detectado desde a versão 1.0 pelo gate 3: neighbour_quote_deleted, com uma segunda linha de orçamento adicionada ao estado inicial para que haja algo a excluir |
| Valores com diferença de até uma unidade passam em uma verificação cujo texto diz “ao centavo” | Corrigido na versão 1.0: a C4, a C9 e a C12 comparam ao centavo; price_one_cent_off tem reprovação estrita com 0.80 |
| O reset de um espaço de trabalho usado falha em vez de restaurar o estado inicial | Corrigido na versão 1.0: um espaço de trabalho usado volta ao digest registrado |
| Excluir a tabela de saída trava o verificador em vez de retornar uma rejeição | Corrigido na versão 1.0: drop_quotes_table e 29 entradas hostis retornam uma rejeição estruturada ou um zero |
| O reset era descrito como idêntico byte a byte | Redação corrigida: o digest comprova conteúdo lógico igual |
| Todas as sondas de reward hack exercitavam apenas os gates de nível superior; nenhuma tocava a tabela de saída mutável | Corrigido na versão 1.0: seis sondas gravam na tabela quotes, cada uma com zero |
| A resposta promete uma data anterior em um formato que o parser não lia: traços, mês abreviado unido por hifens, ano primeiro com barras | Detectado desde a versão 1.0.1: dash_date_promise, hyphen_month_promise, iso_slash_promise. Três promessas sem nenhuma data são registradas como sondas de classe em aberto, aprovadas por design: requested_date_no_token, lead_time_no_token, vague_week_promise |
| A resposta coloca a data antes da promessa, ou oferece o custo interno da fábrica como desconto | Detectado desde a versão 1.0.2: date_before_verb e cost_as_discount, ambas reprovadas na C10 |
| A linha do orçamento muda sem registro de quem alterou o quê, ou o histórico é reescrito para se ajustar | Detectado desde a versão 1.0.3: C13, crítica, e a sonda stage_changed_without_history; a tabela de histórico é protegida pelo gate 4, com history_rewritten, history_on_other_quote e history_backdated, cada uma com zero |
| Ainda não lido: texto dentro de uma saída exigida que contradiz os seus próprios números corretos, como uma resposta que nega o preço que informa, uma coluna de motivo, uma chave narrativa extra ou um relatório ao lado de tabelas corretas | Em aberto, por design. Nenhuma verificação lê esse texto hoje, e uma sonda escrita à mão não consegue fechar essa lacuna. A avaliação às cegas de um profissional é a única verificação sobre isso |
Cada classe encontrada por essas revisões e pelas nossas é agora uma sonda nomeada, e cada uma pontua como exigido nos gates executados em 10 de novembro de 2026. Sondas escritas à mão são um teste de regressão, não uma garantia: elas comprovam que cada estado final errado em que pensamos pontua o que deve, e nada dizem sobre aqueles em que não pensamos. Cada nova classe se torna uma sonda nomeada no dia em que é encontrada.
Registro de alterações
- Até 7 de novembro de 2026. Versão 0 escrita e executada. Dois modelos atuais de um mesmo provedor a resolveram em um rollout cada. Uma revisão do verificador feita por um modelo descobriu que a verificação da resposta aceitava a promessa de uma data de entrega que a programação não conseguia cumprir.
- 8 de novembro de 2026. Versão 0.1: a C10 analisa as datas no corpo da resposta e é crítica; a sonda
contradictory_reply_datefoi adicionada, com reprovação estrita com 0.96. - 8 de novembro de 2026. Versão 1.0: proteção da tabela quotes em nível de campo (gate 3), rejeição estruturada de uma submissão que não pode ser pontuada, preços comparados ao centavo, uma verificação da resposta mais rigorosa que também aprova uma resposta correta que a versão 0.1 reprovava indevidamente, duas novas verificações (C11, C12), 27 novas sondas de reward hack e de erros plausíveis, duas alternativas corretas e uma linha histórica de orçamento no estado inicial. A resposta de referência não mudou, então as tentativas de modelos da versão 0 continuam válidas. Esta página foi publicada.
- 8 de novembro de 2026. Versão 1.0.1: a verificação da resposta lê datas com traços, com dia e mês abreviado e com o ano primeiro e barras, cada uma com um erro plausível. Três promessas sem nenhuma data são registradas como sondas de classe em aberto, aprovadas por design. Novo hash do módulo. A resposta de referência não mudou.
- 8 de novembro de 2026. Versão 1.0.2: a verificação da resposta lê uma data colocada antes da promessa e não aprova mais uma resposta que oferece o custo interno da fábrica como desconto. Mais uma alternativa correta. A resposta de referência não mudou.
- 8 de novembro de 2026. Versão 1.0.3: o estado inicial ganha o e-mail de cobrança do cliente e uma tabela de histórico com quatro linhas criadas, protegidas em nível de campo pelo gate 4. O procedimento e a instrução pedem que cada alteração na linha do orçamento seja registrada, e a C13, crítica, verifica isso. Quatro novas sondas. Preços, datas e o orçamento de referência não mudaram; os pesos agora somam 25, então todas as pontuações mudaram.
Os novos resultados são publicados com a sua data, sejam aprovados ou reprovados.
Execute você mesmo
Primeiro, uma chamada de vinte minutos: executamos esta tarefa diante do seu engenheiro, de um reset, passando por um reward hack e um erro plausível, até a solução de referência. Sob um NDA bilateral assinado, o seu engenheiro recebe então o verificador independente, com comandos de seed, reset, pontuação e autoteste em Python 3.11 e sem pacotes de terceiros, junto com o espaço de trabalho, o estado final de referência e os relatórios do verificador sobre o espaço de trabalho intacto e sobre a solução de referência. Executar novamente cada sonda acima na sua própria máquina é o teste de aceite de um primeiro pedido, que devolvemos em até dez dias úteis após os seus requisitos por escrito.