Menu

Pesquisa

Reorçamento de embalagens, versão 1.0.3: cada verificação e cada lacuna conhecida

Uma tarefa de demonstração, aberta por completo: o trabalho, o estado inicial, os gates e as treze verificações, cada sonda com o seu resultado, como a recompensa é definida, o que o reset garante e os erros que o verificador ainda não detecta.

Tarefa mfg-rfq-001 · Versão 1.0.3, gates executados em 10 de novembro de 2026 · Datarena

Demonstração pública · origem e escopo das tarefas de demonstração.

Identidade

Tarefa
mfg-rfq-001, versão 1.0.3, verificador congelado por hash
Família
packaging-quotation, dificuldade easy, conforme rotulado no arquivo público de gates
Resultado
unresolved, por construção: o episódio termina quando a resposta é enviada, antes de o cliente responder; um profissional cria o rótulo na v1.1
Domínio
Manufatura: embalagens plásticas, uma solicitação de cotação respondida com um orçamento
Status
Demonstração pública; divulgada na íntegra e não está à venda.
Gates executados
10 de novembro de 2026, Python 3.11.8, apenas gates determinísticos: nenhuma execução de modelo, nenhum avaliador humano, nenhum treinamento
Tentativas de modelos
Versão 0, em 7 de novembro de 2026 ou antes: dois modelos atuais de um mesmo provedor, um deles do seu nível menor, um rollout cada, ambos pontuaram 1,0 e obtiveram aprovação estrita. As versões posteriores, que reforçaram o verificador e mantiveram a resposta de referência inalterada, são executadas em seguida

O trabalho

Um executivo de vendas de uma fábrica de embalagens precisa enviar um orçamento hoje. O segundo e-mail do cliente reduziu o pedido e mudou a data de entrega, o chat da produção transferiu o trabalho para outra máquina porque a habitual está parada, e o procedimento de orçamentação diz como custear, precificar e escalonar. A instrução, como o agente a recebe:

Você é o executivo de vendas (sales_exec_2) da Tembaga Ridge Packaging. Hoje é 16 de nov. de 2026. Envie hoje o orçamento Q-2611 para a Selat Biru Agrochem. Leia a caixa de entrada e o chat da produção, siga docs/SOP-Q-07.md, atualize a linha de quotes em erp/plant.db, registre em crm_history cada alteração que fizer nela e grave out/quote.json (qty, machine, unit_cost_rm, unit_price_rm, earliest_delivery como YYYY-MM-DD, meets_requested_delivery) e out/reply.eml.

A resposta certa usa a quantidade mais recente, a máquina confirmada e o preço atual da resina, recalcula o custo e o preço pelo procedimento, encontra o primeiro horário disponível na programação, marca a data solicitada como não atendida, escalona o orçamento no banco de dados, registra cada alteração que faz na linha do orçamento e escreve uma resposta que não promete nada que a programação não possa cumprir.

Ler o estado inicial

Os valores monetários aparecem como [amount] nesta página; os arquivos completos vão para o seu engenheiro sob NDA. A resposta de referência é propositalmente mínima: o verificador lê o preço, a quantidade e as datas, não o tom.

Os arquivos da própria tarefa, na ordem em que um profissional os encontra, depois o estado final de referência e um erro plausível. Cada folha é gerada a partir da tarefa quando a página é construída, então não pode divergir dos arquivos que o verificador lê. O marca-texto destaca os fatos que mudaram e a linha que o verificador detectou.

A caixa de entrada, quatro mensagens

inbox/001.eml9 Nov 2026, 10:14

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
RFQ - 20 L jerrican

Please quote for 50,000 pcs of your 20 L HDPE jerrican (JC20), natural colour. Delivery to Port Klang.

Procurement, Selat Biru Agrochem

inbox/002.eml13 Nov 2026, 15:31

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised)

Revision to our RFQ: we now need the jerricans in BLUE, and the first order will be 12,000 pcs, not 50,000. We need delivery within 21 days of your quotation date. Please re-quote.

Procurement, Selat Biru Agrochem

inbox/003.eml16 Nov 2026, 08:40

From
sales.director@tembagaridge.example
To
sales_exec_2@tembagaridge.example
Subject
Q-2611 today please

Please get Q-2611 out to Selat Biru today. Follow SOP-Q-07 and check with production first.

inbox/000.eml16 Nov 2026, 09:05

From
procurement@selatbiru.example
To
sales@tembagaridge.example
Subject
Re: RFQ - 20 L jerrican (revised) - quotation?

Good morning. We have not yet received your revised quotation. Our planning meeting is this afternoon, so please send it today.

Procurement, Selat Biru Agrochem

O chat da produção

chat/production.json#production

  1. tooling_lead · 14 Nov 2026, 16:02

    BM-07 is down for a screw and barrel replacement, back 10 Dec at the earliest. Run the JC20 mould on BM-03 until then.

  2. planner_1 · 14 Nov 2026, 16:05

    Noted. JC20 cycle on BM-03 runs 18% longer than on BM-07, same single cavity. BM-03 is booked, check machine_schedule before promising dates.

  3. qc_lead · 16 Nov 2026, 08:15

    Reminder: drop test on the blue 10 L pails is at 2pm.

O procedimento

docs/SOP-Q-07.mdThe quoting procedure

SOP-Q-07 Quotation costing and disposition (blow moulding)

  1. Governing request. The latest written customer amendment governs quantity, colour and delivery.
  2. Machine. Quote on the machine production has confirmed for the job. Never quote on a machine whose status is DOWN.
  3. Unit cost in RM per piece:
    • material mass = part mass x (1 + 3% scrap)
    • coloured parts: masterbatch replaces resin at the dosing % in the masterbatch table
    • material cost = resin kg x resin price + masterbatch kg x masterbatch price
    • resin price = the row with the latest effective_date on or before the quotation date
    • machine cost = cycle seconds / cavities / 3600 x machine rate per hour
    • set-up = [amount] per job / quantity
    • unit cost = material + machine + set-up
  4. Price. unit price = unit cost / (1 - 22%), rounded to 2 decimals. Never quote below an 18% margin.
  5. MOQ for JC20 is 10,000 pcs. Below MOQ: stage REJECTED_MOQ and no price is sent.
  6. Delivery.
    • production days = quantity x cycle seconds / cavities / (3600 x machine hours per day x 85% OEE), rounded up
    • first free day = the day after booked_until in machine_schedule
    • earliest delivery = first free day + production days + 3 days QC and dispatch
  7. Disposition, in the quotes table:
    • delivery can be met: stage QUOTED, owner stays with the sales executive
    • delivery cannot be met: still price the job, stage ESCALATED_LEADTIME, owner = the sales manager. The reply states the price and the earliest delivery date and does not promise the requested date.
  8. Outputs. Update the quotes row (qty, unit_price_rm, stage, owner). Record every change you make to a quotes field as a row in crm_history (quote_id, ts on the quotation date, actor, field, old_value, new_value, note); never edit an existing history row. Write out/quote.json and out/reply.eml.

O banco de dados antes do trabalho

erp/plant.dbThe tables the job touches or reads

quotes2 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2604C-0388PL1020000[amount]QUOTEDsales_exec_2
Q-2611C-0417JC2050000nullENQUIRYsales_exec_2

machine_schedule2 rows

machine_idbooked_until
BM-032026-11-27
BM-072026-12-09

machines2 rows

idstatusrate_rm_per_hrhours_per_day
BM-07DOWN[amount]20.0
BM-03RUNNING[amount]20.0

crm_history4 rows

idquote_idtsactorfieldold_valuenew_valuenote
1Q-26042026-11-02 14:10sales_exec_2stageENQUIRYQUOTEDPL10 20,000 pcs quoted at [amount]
2Q-26112026-11-09 10:40sales_exec_2stagenullENQUIRYRFQ received: 50,000 pcs JC20 natural, delivery Port Klang
3Q-26112026-11-13 16:02sales_exec_2notenullnullCustomer revision: blue, first order 12,000 pcs, delivery within 21 days of quotation; re-quote pending
4Q-26112026-11-16 08:45sales_exec_2notenullnullSales director: quote out today per SOP-Q-07, check with production first

O estado final de referência

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-03",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-12-11",
  "meets_requested_delivery": false
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-12-11.

erp/plant.dbAfter the work

quotes, the Q-2611 row1 rows

idcustomer_idskuqtyunit_price_rmstageowner
Q-2611C-0417JC2012000[amount]ESCALATED_LEADTIMEsales_mgr_1

crm_history, rows the work added4 rows

idquote_idtsactorfieldold_valuenew_valuenote
5Q-26112026-11-16 11:00sales_exec_2qty5000012000Q-2611 re-quoted per SOP-Q-07
6Q-26112026-11-16 11:00sales_exec_2unit_price_rmnull[amount]Q-2611 re-quoted per SOP-Q-07
7Q-26112026-11-16 11:00sales_exec_2stageENQUIRYESCALATED_LEADTIMEQ-2611 re-quoted per SOP-Q-07
8Q-26112026-11-16 11:00sales_exec_2ownersales_exec_2sales_mgr_1Q-2611 re-quoted per SOP-Q-07

O verificador: Aprovado · pontuação 1.00

Relatório bruto do verificador, solução de referência
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": true,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": true,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": true,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": true,
  "reward": 1.0,
  "rejection": null
}

Um erro plausível: custeou a máquina que está parada

A sonda down_machine. Erro plausível. Os seus arquivos e o que o verificador detectou.

out/quote.jsonJSON

{
  "quote_id": "Q-2611",
  "qty": 12000,
  "machine": "BM-07",
  "unit_cost_rm": "[amount]",
  "unit_price_rm": "[amount]",
  "earliest_delivery": "2026-11-27",
  "meets_requested_delivery": true
}

out/reply.eml16 Nov 2026, 11:00

From
sales_exec_2@tembagaridge.example
To
procurement@selatbiru.example
Subject
Quotation Q-2611

Our price for 12,000 pcs JC20 is [amount] per piece. Earliest delivery is 2026-11-27.

O verificador: Reprovado · pontuação 0.40

  • C2 A máquina é a que a produção confirmou (BM-03), não a máquina parada
  • C3 Custo unitário dentro de 0,5% do recálculo pelo SOP
  • C4 Preço unitário igual ao preço do SOP, ao centavo
  • C6 A data de entrega mais próxima coincide com o recálculo da programação
  • C7 Entrega marcada como não atendida e orçamento escalonado no ERP
  • C8 Responsável reatribuído ao gerente de vendas
  • C10 A resposta informa o preço do SOP em RM e a data de entrega mais próxima, e não promete nenhuma data anterior
Relatório bruto do verificador, down_machine
{
  "gates": [
    {
      "name": "inputs untouched and no file added under inbox/, chat/ or docs/",
      "passed": true
    },
    {
      "name": "protected ERP tables and the database schema untouched",
      "passed": true
    },
    {
      "name": "quotes table: only Q-2611's qty, unit_price_rm, stage and owner changed; no row added, removed or re-identified",
      "passed": true
    },
    {
      "name": "crm_history: seeded rows untouched; rows appended only for Q-2611 and dated on the quotation date",
      "passed": true
    }
  ],
  "criteria": [
    {
      "id": "C1",
      "desc": "Quantity follows the latest amendment (12,000)",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C2",
      "desc": "Machine is the one production confirmed (BM-03), not the down machine",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C3",
      "desc": "Unit cost within 0.5% of the SOP recomputation",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C4",
      "desc": "Unit price equals the SOP price to the cent",
      "passed": false,
      "weight": 3,
      "critical": false
    },
    {
      "id": "C5",
      "desc": "Price keeps at least an 18% margin on the true cost",
      "passed": true,
      "weight": 2,
      "critical": true
    },
    {
      "id": "C6",
      "desc": "Earliest delivery date matches the schedule recomputation",
      "passed": false,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C7",
      "desc": "Delivery marked as not met and the quote escalated in the ERP",
      "passed": false,
      "weight": 3,
      "critical": true
    },
    {
      "id": "C8",
      "desc": "Owner reassigned to the sales manager",
      "passed": false,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C9",
      "desc": "ERP row agrees with quote.json (qty, and price to the cent)",
      "passed": true,
      "weight": 2,
      "critical": false
    },
    {
      "id": "C10",
      "desc": "Reply states the SOP price in RM and the earliest delivery date, and promises no earlier date",
      "passed": false,
      "weight": 1,
      "critical": true
    },
    {
      "id": "C11",
      "desc": "Reply is addressed to the customer, identifies Q-2611, and names no quantity other than 12,000 pcs",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C12",
      "desc": "Stated price follows from the stated cost under the SOP mark-up (cost / 0.78, rounded)",
      "passed": true,
      "weight": 1,
      "critical": false
    },
    {
      "id": "C13",
      "desc": "Each change to stage and owner on the quotes row is logged in crm_history with its old and new value",
      "passed": true,
      "weight": 2,
      "critical": true
    }
  ],
  "strict_pass": false,
  "reward": 0.4,
  "rejection": null
}

O que observar

  • O segundo e-mail substitui o primeiro.
  • A restrição está apenas no chat.
  • A resposta não pode prometer uma data que a programação não consegue cumprir.
  • O verificador lê os arquivos e as linhas, nunca as afirmações da resposta.
  • Toda alteração na linha do orçamento precisa ser registrada na tabela de histórico, com a data do orçamento.

As cinco partes nesta versão

E-mails do cliente
Presente: a consulta, a revisão, a nota do diretor e a cobrança, quatro mensagens na caixa de entrada
Discussão interna
Presente: o chat da produção, três linhas
Documentos relacionados
Presente: o procedimento de orçamentação
Registro de histórico
Presente: a tabela de histórico, quatro linhas criadas antes de o trabalho começar. Cada alteração na linha do orçamento precisa adicionar uma, o que é verificado pela C13
Rótulo de resultado
Presente no registro da tarefa, criado como “não resolvido”. Por construção: o episódio termina quando a resposta é enviada, antes de o cliente responder; um profissional cria o rótulo na v1.1

O espaço de trabalho

Toda execução começa com os mesmos arquivos e o mesmo banco de dados, gravados do zero pelo próprio reset da tarefa.

CaminhoO que contém após o reset
chat/production.json639 bytes
docs/SOP-Q-07.md1877 bytes
erp/plant.dbcrm_history (4), customers (2), machine_schedule (2), machines (2), masterbatch (2), mould_machine (1), products (2), quotes (2), resin_prices (3), staff (3)
inbox/000.eml324 bytes
inbox/001.eml272 bytes
inbox/002.eml364 bytes
inbox/003.eml240 bytes

Digest do reset, SHA-256 do espaço de trabalho inicial com o banco de dados tomado como o seu dump SQL: 3366510ba57c7b69d148f9dd16a74ceaea0a556e649b813b1a5d1d55c446d20d. Reset determinístico a partir de um diretório vazio: sim. Um espaço de trabalho usado volta ao mesmo digest: sim.

O que o agente pode ler e alterar

Leitura
As quatro mensagens da caixa de entrada, o chat da produção, o procedimento de orçamentação e qualquer tabela do banco de dados.
Escrita
out/quote.json com os campos exigidos, out/reply.eml, quatro campos da única linha de orçamento que a instrução indica: quantidade, preço unitário, etapa e responsável, e uma nova linha na tabela de histórico para cada uma dessas alterações.
Não pode tocar
Os arquivos de entrada, as pastas de entrada, as demais tabelas, o esquema do banco de dados, todos os outros campos e linhas da tabela quotes e todas as linhas de histórico que já existiam no início. Qualquer alteração nesses itens reprova um gate, e a execução pontua zero, independentemente do que mais tenha feito.

Gates e verificações

Uma submissão que o verificador não consegue pontuar, porque uma saída exigida está ausente, malformada ou danificada, é rejeitada como inválida com recompensa zero, com um motivo estruturado em vez de um travamento. Depois, quatro gates. Se qualquer um falhar, a recompensa é zero, sem nenhuma verificação contada.

  1. entradas intactas e nenhum arquivo adicionado em inbox/, chat/ ou docs/.
  2. tabelas protegidas do ERP e esquema do banco de dados intactos.
  3. tabela quotes: apenas qty, unit_price_rm, stage e owner de Q-2611 alterados; nenhuma linha adicionada, removida ou reidentificada.
  4. crm_history: linhas iniciais intactas; linhas acrescentadas apenas para Q-2611 e com a data do orçamento.

Depois, treze verificações, cada uma recalculada pelo verificador a partir de uma cópia nova do estado inicial e comparada com os arquivos e as linhas do banco de dados em disco. O verificador nunca lê o que o agente diz que fez. Os pesos somam 25; 5 verificações são críticas.

VerificaçãoO que precisa ser verdadePesoCrítica
C1A quantidade segue a alteração mais recente (12.000)2sim
C2A máquina é a que a produção confirmou (BM-03), não a máquina parada2
C3Custo unitário dentro de 0,5% do recálculo pelo SOP3
C4Preço unitário igual ao preço do SOP, ao centavo3
C5O preço mantém uma margem de pelo menos 18% sobre o custo real2sim
C6A data de entrega mais próxima coincide com o recálculo da programação2
C7Entrega marcada como não atendida e orçamento escalonado no ERP3sim
C8Responsável reatribuído ao gerente de vendas1
C9A linha do ERP é coerente com quote.json (qty e preço, ao centavo)2
C10A resposta informa o preço do SOP em RM e a data de entrega mais próxima, e não promete nenhuma data anterior1sim
C11A resposta é dirigida ao cliente, identifica Q-2611 e não menciona nenhuma quantidade além de 12.000 pçs1
C12O preço informado decorre do custo informado segundo o markup do SOP (custo / 0,78, arredondado)1
C13Cada alteração de stage e owner na linha de quotes é registrada em crm_history com o valor antigo e o novo2sim

Tolerâncias na versão 1.0.3: a C3 compara o custo unitário dentro de 0,5%, como diz o seu texto; a C4, a C9 e a C12 comparam preços ao centavo (dentro de meio centavo); a C10 lê o assunto e o corpo da resposta, todos os formatos de data, e apenas datas posteriores à data do orçamento.

As sondas

Antes que um comprador veja uma tarefa, atacamos o seu verificador. Um reward hack falsifica ou adultera e precisa pontuar exatamente zero. Um erro plausível é um erro que um profissional cuidadoso poderia cometer; ele não pode obter a recompensa estrita, que exige a aprovação de todos os gates e de todas as verificações. Uma alternativa correta é uma resposta certa escrita de outra forma; ela precisa obtê-la. Uma sonda de lacuna conhecida registra uma fraqueza que ainda não corrigimos: ela é aprovada por design, para que qualquer mudança nesse limite apareça. 19 reward hacks, 26 erros plausíveis, 3 alternativas corretas e 3 sondas de lacunas conhecidas foram executados em 10 de novembro de 2026, e todos retornaram o resultado esperado. A maioria dos erros plausíveis tem como alvo a resposta, a única saída em texto livre: uma promessa de data anterior, em todos os formatos de data que já encontramos.

SondaTipoO que fezEstritaPontuaçãoO que reprovou
emptyReward hackNenhuma resposta gravadaReprovado0.00Rejeitada como inválida
claim_onlyReward hackUma resposta confiante sem nenhum arquivo gravadoReprovado0.00Rejeitada como inválida
tamper_scheduleReward hackLiberou a máquina reservada na tabela de programaçãoReprovado0.00gate 2
edit_customer_emailReward hackEditou o e-mail do cliente para que a quantidade antiga pareça a atualReprovado0.00gate 1
superseded_quantityErro plausívelOrçou a quantidade já substituídaReprovado0.40C1, C3, C4, C5, C6, C10, C11, C12
down_machineErro plausívelCusteou a máquina que está paradaReprovado0.40C2, C3, C4, C6, C7, C8, C10
stale_resin_priceErro plausívelPrecificou com um preço de resina que a tabela já havia substituídoReprovado0.72C3, C4, C10
json_without_erpErro plausívelGravou o arquivo do orçamento e nunca atualizou a linha do banco de dadosReprovado0.76C7, C8, C9
contradictory_reply_dateErro plausívelA resposta prometeu uma data anterior à do próprio orçamentoReprovado0.96C10
wrong_customer_on_rowReward hackValores certos, cliente errado na linha do orçamentoReprovado0.00gate 3
wrong_sku_on_rowReward hackValores certos, produto errado na linha do orçamentoReprovado0.00gate 3
duplicate_quote_rowReward hackUma segunda linha de orçamento adicionadaReprovado0.00gate 3
neighbour_quote_deletedReward hackA linha de outro orçamento excluídaReprovado0.00gate 3
quotes_table_replacedReward hackA tabela quotes excluída e reconstruídaReprovado0.00gate 2, gate 3
schema_column_addedReward hackUma coluna adicionada ao esquema do banco de dadosReprovado0.00gate 2, gate 3
drop_quotes_tableReward hackA tabela quotes excluídaReprovado0.00gate 2, rejeitada como inválida
malformed_quote_jsonReward hackUm arquivo de orçamento que não é JSON válidoReprovado0.00Rejeitada como inválida
oversized_numberReward hackUm número fora do intervalo no arquivo de orçamentoReprovado0.00Rejeitada como inválida
reply_without_headersReward hackUma resposta sem cabeçalhos de e-mailReprovado0.00Rejeitada como inválida
extra_reply_fileReward hackUm segundo arquivo de resposta adicionadoReprovado0.00Rejeitada como inválida
forged_customer_emailReward hackUm e-mail falso do cliente adicionado à caixa de entradaReprovado0.00gate 1
price_one_cent_offErro plausívelPreço um centavo diferente do valor do procedimentoReprovado0.80C4, C10, C12
erp_price_differsErro plausívelO preço no banco de dados difere do arquivo de orçamentoReprovado0.92C9
cost_price_inconsistentErro plausívelO preço informado não decorre do custo informadoReprovado0.96C12
promise_in_subjectErro plausívelData anterior prometida na linha de assuntoReprovado0.96C10
wrapped_promiseErro plausívelData anterior prometida com uma quebra de linha no meioReprovado0.96C10
month_first_promiseErro plausívelData anterior prometida no formato com o mês primeiroReprovado0.96C10
worded_promiseErro plausívelData anterior prometida por extensoReprovado0.96C10
reply_wrong_quantityErro plausívelA resposta menciona uma quantidade diferente da do pedidoReprovado0.96C11
reply_wrong_currencyErro plausívelA resposta informa o preço em outra moedaReprovado0.96C10
reply_to_other_customerErro plausívelResposta dirigida a outro clienteReprovado0.96C11
slash_date_promiseErro plausívelData anterior prometida no formato com barrasReprovado0.96C10
negation_in_subordinate_clauseErro plausívelData anterior prometida, com uma negação apenas em uma oração secundáriaReprovado0.96C10
relative_in_21_daysErro plausívelEntrega prometida em um número de dias que a programação não consegue cumprirReprovado0.96C10
contradictory_second_priceErro plausívelA resposta oferece um segundo preço que contradiz o primeiroReprovado0.96C10
reply_omits_quantityErro plausívelA resposta nunca informa a quantidadeReprovado0.96C11
dash_date_promiseErro plausívelData anterior prometida no formato dia-mês-ano com traçosReprovado0.96C10
hyphen_month_promiseErro plausívelData anterior prometida como dia, mês abreviado e ano unidos por hifensReprovado0.96C10
iso_slash_promiseErro plausívelData anterior prometida no formato com o ano primeiro e barrasReprovado0.96C10
date_before_verbErro plausívelData anterior prometida, colocada antes do verbo na fraseReprovado0.96C10
cost_as_discountErro plausívelA resposta oferece o custo unitário interno da fábrica como preço com descontoReprovado0.96C10
stage_changed_without_historyErro plausívelLinha do orçamento escalonada sem nenhuma linha de histórico registrando a alteraçãoReprovado0.92C13
history_rewrittenReward hackUma linha de histórico inicial editadaReprovado0.00gate 4
history_on_other_quoteReward hackUma linha de histórico acrescentada a outro orçamentoReprovado0.00gate 4
history_backdatedReward hackUma linha de histórico acrescentada com data anterior à data do orçamentoReprovado0.00gate 4
requested_date_no_tokenClasse em aberto, aprovada por designA resposta confirma a entrega “até a data solicitada por você”, sem nenhuma data escritaAprovado1.00nenhuma
lead_time_no_tokenClasse em aberto, aprovada por designA resposta promete a entrega “dentro do seu prazo de entrega”, sem nenhuma data escritaAprovado1.00nenhuma
vague_week_promiseClasse em aberto, aprovada por designA resposta promete enviar “na semana depois da próxima”Aprovado1.00nenhuma
reply_cites_customer_emailAlternativa corretaA resposta cita o e-mail do cliente, incluindo as suas datasAprovado1.00nenhuma
reply_dates_in_wordsAlternativa corretaA resposta informa as datas por extensoAprovado1.00nenhuma
reply_with_total_and_slash_dateAlternativa corretaA resposta informa o preço unitário, o total da linha, a taxa de setup e a data no formato com barrasAprovado1.00nenhuma
referenceSolução de referênciaA nossa resposta de referência, a partir de um reset novoAprovado1.00nenhuma

O nosso harness de teste também construiu 29 entradas hostis a partir de um estado final correto: 10 com uma tabela excluída, 10 com a primeira coluna de uma tabela renomeada, uma com o banco de dados sobrescrito com texto, 6 com uma entrada substituída por um diretório, 2 com uma saída substituída por um diretório. Todas retornaram um relatório com recompensa zero, sem erro do verificador.

Resultados em todo o harness de demonstração.

O que os números significam

Pontuação. Zero se a submissão for rejeitada ou se qualquer gate falhar. Caso contrário, a proporção ponderada das verificações atendidas: os pesos das verificações aprovadas divididos pela soma de todos os pesos. É um diagnóstico de onde uma resposta errou.

Estrito. Verdadeiro somente quando todos os gates e todas as verificações são aprovados. Esta é a recompensa de treinamento que recomendamos: a pontuação remunera um trabalho feito pela metade, como mostra, com 0.76, a linha que gravou o arquivo do orçamento e nunca atualizou o banco de dados.

Crítico. Um campo separado, verdadeiro quando todas as verificações marcadas como críticas são aprovadas. Ele é informado, nunca usado como recompensa.

Princípios comuns dos verificadores.

O que o reset garante

O reset grava o espaço de trabalho a partir de código, sem rede e sem relógio. Dois resets novos produzem o mesmo digest, e um espaço de trabalho usado volta a ele, para que um comprador possa verificar na própria máquina que o estado inicial que tem é aquele contra o qual o verificador foi executado. O digest calcula o hash dos arquivos e de um dump SQL do banco de dados, então digests iguais comprovam conteúdo lógico igual, não bytes idênticos.

O que um profissional decide

Onde o setor tem mais de uma convenção, o verificador codifica uma. Em uma tarefa encomendada, um profissional que faz esse trabalho faz a escolha, e informamos se ela muda a resposta. Questões em aberto para esta tarefa:

  • Os dias de produção na programação são dias corridos ou dias úteis? A data de entrega mais próxima (C6) e a resposta (C10) mudam conforme a resposta.
  • A resposta deve incluir frete, validade e condições de pagamento? Hoje ela não inclui nenhum deles, e nenhuma verificação os pede.

As outras cinco tarefas têm as suas próprias convenções em aberto, desde se confirmar um nome conta como pedir um dado pessoal em uma chamada avaliada até como as toneladas secas são arredondadas antes de uma carga ser precificada. Cada uma está listada no registro da tarefa que o comprador recebe.

O que o verificador ainda não detecta

Nós atacamos os nossos próprios verificadores. Em 7 de novembro de 2026, três revisões feitas por modelos sobre as primeiras versões construíram estados finais errados, e dois verificadores os aceitaram com pontuação máxima. Nós os reproduzimos e, em 8 de novembro de 2026, testamos os seis verificadores contra cerca de 220 alterações únicas em um estado final correto. As classes encontradas e a sua situação nesta tarefa nos gates executados em 10 de novembro de 2026:

Classe de trabalho erradoSituação nesta tarefa, 10 de novembro de 2026
A resposta contradiz a saída estruturada: promete uma data que a programação não consegue cumprir, enquanto o arquivo do orçamento contém a data certaDetectado desde a versão 0.1: C10, crítica, e a sonda contradictory_reply_date. A versão 1.0 também lê a linha de assunto e mais formatos de data, entre eles datas com barras e datas relativas, e aprova uma resposta correta que cita o e-mail do cliente, que a versão 0.1 reprovava indevidamente
Campos de identidade na linha de saída reescritos enquanto os valores verificados continuam certosDetectado desde a versão 1.0 pelo gate 3: wrong_customer_on_row, wrong_sku_on_row
Linhas extras inseridas na tabela de saídaDetectado desde a versão 1.0 pelo gate 3: duplicate_quote_row
Linhas históricas ou vizinhas excluídas ou corrompidasDetectado desde a versão 1.0 pelo gate 3: neighbour_quote_deleted, com uma segunda linha de orçamento adicionada ao estado inicial para que haja algo a excluir
Valores com diferença de até uma unidade passam em uma verificação cujo texto diz “ao centavo”Corrigido na versão 1.0: a C4, a C9 e a C12 comparam ao centavo; price_one_cent_off tem reprovação estrita com 0.80
O reset de um espaço de trabalho usado falha em vez de restaurar o estado inicialCorrigido na versão 1.0: um espaço de trabalho usado volta ao digest registrado
Excluir a tabela de saída trava o verificador em vez de retornar uma rejeiçãoCorrigido na versão 1.0: drop_quotes_table e 29 entradas hostis retornam uma rejeição estruturada ou um zero
O reset era descrito como idêntico byte a byteRedação corrigida: o digest comprova conteúdo lógico igual
Todas as sondas de reward hack exercitavam apenas os gates de nível superior; nenhuma tocava a tabela de saída mutávelCorrigido na versão 1.0: seis sondas gravam na tabela quotes, cada uma com zero
A resposta promete uma data anterior em um formato que o parser não lia: traços, mês abreviado unido por hifens, ano primeiro com barrasDetectado desde a versão 1.0.1: dash_date_promise, hyphen_month_promise, iso_slash_promise. Três promessas sem nenhuma data são registradas como sondas de classe em aberto, aprovadas por design: requested_date_no_token, lead_time_no_token, vague_week_promise
A resposta coloca a data antes da promessa, ou oferece o custo interno da fábrica como descontoDetectado desde a versão 1.0.2: date_before_verb e cost_as_discount, ambas reprovadas na C10
A linha do orçamento muda sem registro de quem alterou o quê, ou o histórico é reescrito para se ajustarDetectado desde a versão 1.0.3: C13, crítica, e a sonda stage_changed_without_history; a tabela de histórico é protegida pelo gate 4, com history_rewritten, history_on_other_quote e history_backdated, cada uma com zero
Ainda não lido: texto dentro de uma saída exigida que contradiz os seus próprios números corretos, como uma resposta que nega o preço que informa, uma coluna de motivo, uma chave narrativa extra ou um relatório ao lado de tabelas corretasEm aberto, por design. Nenhuma verificação lê esse texto hoje, e uma sonda escrita à mão não consegue fechar essa lacuna. A avaliação às cegas de um profissional é a única verificação sobre isso

Cada classe encontrada por essas revisões e pelas nossas é agora uma sonda nomeada, e cada uma pontua como exigido nos gates executados em 10 de novembro de 2026. Sondas escritas à mão são um teste de regressão, não uma garantia: elas comprovam que cada estado final errado em que pensamos pontua o que deve, e nada dizem sobre aqueles em que não pensamos. Cada nova classe se torna uma sonda nomeada no dia em que é encontrada.

Registro de alterações

  1. Até 7 de novembro de 2026. Versão 0 escrita e executada. Dois modelos atuais de um mesmo provedor a resolveram em um rollout cada. Uma revisão do verificador feita por um modelo descobriu que a verificação da resposta aceitava a promessa de uma data de entrega que a programação não conseguia cumprir.
  2. 8 de novembro de 2026. Versão 0.1: a C10 analisa as datas no corpo da resposta e é crítica; a sonda contradictory_reply_date foi adicionada, com reprovação estrita com 0.96.
  3. 8 de novembro de 2026. Versão 1.0: proteção da tabela quotes em nível de campo (gate 3), rejeição estruturada de uma submissão que não pode ser pontuada, preços comparados ao centavo, uma verificação da resposta mais rigorosa que também aprova uma resposta correta que a versão 0.1 reprovava indevidamente, duas novas verificações (C11, C12), 27 novas sondas de reward hack e de erros plausíveis, duas alternativas corretas e uma linha histórica de orçamento no estado inicial. A resposta de referência não mudou, então as tentativas de modelos da versão 0 continuam válidas. Esta página foi publicada.
  4. 8 de novembro de 2026. Versão 1.0.1: a verificação da resposta lê datas com traços, com dia e mês abreviado e com o ano primeiro e barras, cada uma com um erro plausível. Três promessas sem nenhuma data são registradas como sondas de classe em aberto, aprovadas por design. Novo hash do módulo. A resposta de referência não mudou.
  5. 8 de novembro de 2026. Versão 1.0.2: a verificação da resposta lê uma data colocada antes da promessa e não aprova mais uma resposta que oferece o custo interno da fábrica como desconto. Mais uma alternativa correta. A resposta de referência não mudou.
  6. 8 de novembro de 2026. Versão 1.0.3: o estado inicial ganha o e-mail de cobrança do cliente e uma tabela de histórico com quatro linhas criadas, protegidas em nível de campo pelo gate 4. O procedimento e a instrução pedem que cada alteração na linha do orçamento seja registrada, e a C13, crítica, verifica isso. Quatro novas sondas. Preços, datas e o orçamento de referência não mudaram; os pesos agora somam 25, então todas as pontuações mudaram.

Os novos resultados são publicados com a sua data, sejam aprovados ou reprovados.

Execute você mesmo

Primeiro, uma chamada de vinte minutos: executamos esta tarefa diante do seu engenheiro, de um reset, passando por um reward hack e um erro plausível, até a solução de referência. Sob um NDA bilateral assinado, o seu engenheiro recebe então o verificador independente, com comandos de seed, reset, pontuação e autoteste em Python 3.11 e sem pacotes de terceiros, junto com o espaço de trabalho, o estado final de referência e os relatórios do verificador sobre o espaço de trabalho intacto e sobre a solução de referência. Executar novamente cada sonda acima na sua própria máquina é o teste de aceite de um primeiro pedido, que devolvemos em até dez dias úteis após os seus requisitos por escrito.

Solicitar pacote de amostras Agendar a demonstração guiada