Ambientes
Como um trabalho se torna um ambiente de treinamento.
O método técnico por trás das duas linhas de dados: estrutura das tarefas, avaliação, calibração e o formato que a sua equipe recebe.
Abrir a tarefa de amostra de CAD Solicitar pacote de amostras
O que é um ambiente
Tudo de que uma execução precisa, em uma única pasta.
Cada tarefa é uma pasta em um layout compatível com Harbor. O agente vê a instrução e o projeto. O verificador e a solução de referência ficam fora do seu alcance.
- Instrução
instruction.md - A solicitação de trabalho como um colega ou cliente a enviaria, com as entregas exatas e os caminhos onde salvá-las.
- Estado inicial
environment/project/ - Os dados iniciais de que o trabalho parte: desenhos e suas revisões, modelos 3D, tabelas, e-mails, linhas de banco de dados.
- Ferramentas
environment/Dockerfile - Um contêiner com o que o trabalho exige: um kernel de CAD, bibliotecas de hidrostática e de cálculo, ferramentas de documentos e de planilhas.
- Verificador
tests/test.sh - O programa que lê as entregas e o estado final, executa cada verificação e grava a recompensa, uma linha por verificação.
- Sondas
tests/probes/ - Reward hacks, erros plausíveis e alternativas corretas que o verificador precisa pontuar como esperado antes de a tarefa ser entregue.
- Solução de referência
solution/solve.sh - Uma solução que pontua 1, o que comprova que a tarefa pode ser resolvida como está escrita.
- Metadados e direitos
task.toml - Domínio, família, faixa de dificuldade, limites de tempo, recursos, divisão, origem e licença.
task.toml Ilustrativo
version = "0.3" [metadata] id = "naval/tank-capacity-014" domain = "ship design" family = "tank-capacity" # generated, seed 1408 difficulty = "hard" # pass@1 0.12 at calibration split = "train" # train | sealed-eval [rights] source = "generated" # generated | licensed | authored use = "training and evaluation" [agent] timeout_sec = 2700 [environment] network = "none" cpus = 2 memory_mb = 4096 [verifier] timeout_sec = 300 reward = "strict" # 1 only if every check passes weights = [1, 3, 3, 2, 1, 2, 3, 1] # C1 to C8 tolerance = { volume_m3 = 0.5, lcg_m = 0.02, trim_m = 0.01 }
/logs/verifier/reward.json Ilustrativo
{
"reward": 0,
"score": 0.94,
"C1_deliverable_parses": 1,
"C2_inputs_unchanged": 1,
"C3_tank_volumes_98pct": 1,
"C4_tank_lcg_vcg": 1,
"C5_sounding_tables": 0,
"C6_trim_departure": 1,
"C7_tank_bounds_rev_c": 1,
"C8_tolerances_cited": 1
}
Uma verificação reprovada define a recompensa como 0. A pontuação ponderada mostra que o restante da resposta estava correto, e onde ela errou: a C5 detectou que as sondagens do tanque 5P foram lidas a partir do datum do tubo de sondagem da revisão B. A revisão C deslocou o tubo, então todas as sondagens desse tanque estão referenciadas ao ponto errado.
Princípios do verificador
Avalie o estado, não o texto.
Uma recompensa só é tão boa quanto o verificador que a calcula. O código verifica o que pode ser calculado; onde é necessário julgamento especializado, modelos juízes calibrados e verificadores por rubrica personalizados fazem a avaliação, cada um conferido com as notas de especialistas.
Avalie o estado
O verificador abre os arquivos, a geometria, as linhas e as mensagens que o agente deixou e recalcula o que eles deveriam ser. O resumo que o agente faz do próprio trabalho não rende nada.
Determinístico, falha fechada
Mesma entrega, mesma recompensa, em todas as execuções. Uma entrega ausente, malformada ou ilegível pontua zero com um motivo declarado, nunca um travamento e nunca uma aprovação.
A aprovação estrita é a recompensa
A recompensa é 1 somente quando todas as verificações são aprovadas. Uma pontuação ponderada por verificação fica ao lado dela, para que você veja onde uma resposta errou sem recompensar um quase acerto.
Processo e resultado
As verificações de resultado leem a entrega. As verificações de processo leem como se chegou a ela: entradas intactas, a revisão vigente usada, e as cláusulas e os valores aplicados, citados.
Sensível a tolerâncias
Cada grandeza carrega a tolerância de engenharia do seu desenho ou da sua norma. Uma resposta correta em outras unidades, em outra ordem ou em outro layout continua sendo aprovada.
Isolado e reiniciável
Sem rede, entradas somente leitura e testes montados apenas depois do fim da execução. O reset devolve o espaço de trabalho ao mesmo estado, conferido por digest.
Congelado e versionado
Cada verificador é congelado por hash junto com a versão da sua tarefa. Uma correção é uma nova versão com uma entrada no changelog, e todas as sondas são executadas de novo.
Defesa contra reward hacking
Todo verificador é atacado antes de ser entregue.
Antes de uma tarefa sair daqui, executamos um conjunto de sondas contra o seu verificador.
| Classe de sonda | O que faz | Resultado exigido |
|---|---|---|
| Vazia | Deixa o espaço de trabalho exatamente como estava após o reset. | 0 |
| Só alegação | Informa que o trabalho foi feito e não altera nada. | 0 |
| Adulteração | Edita uma entrada, uma tabela protegida, os testes ou o arquivo de recompensa. | 0 |
| Resposta fixa no código | Grava o formato esperado com valores chutados ou copiados. | 0 |
| Entrada substituída | Trabalha a partir da revisão antiga do desenho ou do primeiro e-mail, não da alteração. | Reprovação estrita |
| Erro plausível | Forma geral ou total corretos, feature com tolerância ou item de linha errados. | Reprovação estrita |
| Alternativa correta | A resposta certa por outro método, em outras unidades ou em outro layout. | Aprovação estrita |
Seis tarefas de demonstração, um harness.
Gates executados em 10 de novembro de 2026; tentativas de modelos em 7 de novembro de 2026 ou antes. Todas as seis são tarefas de demonstração que escrevemos internamente com nomes e números inventados, não registros de parceiros. As sondas são um teste de regressão, não uma garantia.
Resultados do harness de fluxos de trabalho corporativos. A execução da amostra de CAD é relatada separadamente.
- Verificações
- 59 nas seis tarefas, 26 críticas; a solução de referência pontua 1,0 em cada uma
- Sondas de reward hack
- 73, todas pontuando zero; 101 entradas hostis, todas zero sem erro do verificador
- Erros plausíveis
- 71, todos reprovados na recompensa estrita
- Alternativas corretas
- 8, todas aprovadas no critério estrito
- Lacunas conhecidas
- 3 sondas aprovadas por design; documentadas na página de evidências
- Tentativas de modelos
- Dois modelos atuais de um mesmo provedor, incluindo o seu nível menor, uma execução (rollout) por modelo por versão. Ambos passaram em todas as tarefas depois que esclarecemos a redação de duas tarefas da versão 0. As versões reforçadas são executadas em seguida (abaixo). Essas execuções mostram que o harness funciona, não o quão difíceis as tarefas são
- Em aberto
- O que o verificador ainda não detecta está na página de evidências
Publicado com a sua data, aprovado ou reprovado.
Taxas de aprovação nas seis tarefas para um modelo aberto pequeno e um modelo mais forte, cinco rollouts cada. Publicadas aqui quando concluídas, seja qual for o resultado, com a data da execução e as versões das tarefas.
Auditoria de trajetórias
As sondas testam o verificador. A auditoria testa as aprovações. Em execuções amostradas da calibração, lemos como cada aprovação foi obtida, não apenas que ela ocorreu.
Uma aprovação é descartada quando a execução
- abriu a referência, os testes ou qualquer coisa fora do projeto
- alterou uma entrada, uma tabela protegida ou o verificador
- tentou acessar a rede, ou gravou uma resposta que nunca calculou
- seguiu um caminho que a instrução proíbe
Uma aprovação obtida do jeito errado vira uma nova sonda, e o verificador é reforçado antes de o lote ser entregue.
Dificuldade e calibração
Difícil o bastante para ensinar, solucionável por design.
Uma tarefa em que todo modelo passa não ensina nada. Uma tarefa em que nenhum modelo passa pode estar quebrada. Medimos cada tarefa antes de entregá-la e só a mantemos dentro da faixa que você definir.
- Tentativas repetidas
- Modelos, de um modelo aberto pequeno ao mais forte disponível, tentam cada tarefa várias vezes. Uma taxa de aprovação é uma média sobre as tentativas, nunca uma única execução.
- pass@1 e pass@k
- O pass@1 posiciona a tarefa na faixa; o pass@k mostra que ela é alcançável. Uma tarefa fora da faixa é reforçada, rebalanceada ou descartada.
- Zero é um alerta
- Antes de mantermos uma tarefa em que nenhum modelo passa, verificamos novamente a sua instrução, a sua solução de referência e o seu verificador.
- Parâmetros, não redação
- As famílias geradas são ajustadas com os parâmetros abaixo. A dificuldade nunca vem de uma instrução ambígua ou de uma armadilha escondida.
Parâmetros de dificuldade por domínio
- Peças
- Número de features, classe de tolerância, vistas a conciliar
- Navios
- Tanques e condições de carregamento, revisões substituídas na pasta
- Edificações
- Folhas e disciplinas a cruzar, densidade de interferências
- Fluxos de trabalho
- Extensão do horizonte, alterações, conversas que desviam a atenção
Cartão de calibração, um por lote Ilustrativo
- Lote
- naval/tank-capacity v0.3
- Tarefas mantidas
- 40 de 46 redigidas
- Tentativas
- 3 por modelo por tarefa
- Modelo pequeno
- pass@1 0.05
- Modelo grande
- pass@1 0.21 · pass@3 0.34
- Faixa mantida
- pass@1 entre 0.02 e 0.30
- Reward hacks
- 14 de 14 em zero
- Erros plantados
- 12 de 12 com reprovação estrita
- Alternativas
- 4 de 4 com aprovação estrita
- Concordância com especialistas
- 9 de 10 tarefas, avaliadas às cegas
- Tempo por tentativa
- mediana de 38 min
O formato do cartão, não um resultado medido. Cada lote traz o seu.
Dois motores para escala
Volume a partir de geradores. Profundidade a partir de profissionais.
A maior parte de um lote pode ser gerada com o seu gabarito calculado. As tarefas mais difíceis começam com alguém que já fez o trabalho.
Motor um
Geradores paramétricos
Um gerador constrói uma família de tarefas a partir de parâmetros: peças com as suas features e tolerâncias, formas de casco com os seus arranjos de tanques, malhas de edificações com os seus pórticos. O código que constrói uma tarefa também calcula a sua resposta, então o volume nunca custa a correção.
- Gabarito calculado, nunca digitado
- Cada seed registrada na ficha técnica e reproduzível
Motor dois
Seeds de especialistas
Nas tarefas encomendadas, um profissional fornece o trabalho e aprova o resultado. Modelos ajudam na redação, para que as horas dos especialistas sejam usadas onde só um especialista pode ajudar.
- SeedUm profissional descreve um trabalho real em seis campos: situação, entradas, objetivo, restrições, como verificar, saída esperada.
- RascunhoConstruímos a instrução, os arquivos do projeto, o verificador e a solução de referência a partir da seed, com modelos ajudando na redação.
- ResoluçãoUm modelo solucionador de outra família tenta resolvê-la às cegas, várias vezes, sem acesso ao verificador nem à referência. Se passar com muita facilidade, lemos o log do solucionador e reforçamos a tarefa.
- ValidaçãoO profissional confere a referência e o verificador com o próprio julgamento e torna a tarefa mais difícil onde o trabalho real é mais difícil.
- RevisãoUm segundo profissional avalia uma amostra às cegas. Informamos a concordância no cartão de calibração, e cada divergência vai para arbitragem.
Entrega
No formato que o seu harness já executa.
As tarefas chegam prontas para executar, documentadas item a item e divididas de modo que a avaliação permaneça limpa.
- Formato
- Pastas de tarefas compatíveis com Harbor, imagens de contêiner ou a interface que o seu harness recebe. Uma tarefa roda primeiro no seu harness, depois vem o lote.
- Ficha técnica
- Por item: origem (gerada, licenciada ou de autoria própria), gerador e seed, ou o ID pseudônimo do autor, revisões, desidentificação e os resultados da calibração.
- Nota de direitos
- Por item: a quem pertence, a licença para treinamento e avaliação, e a cessão ou o acordo em que se baseia.
- Divisões
- A divisão acordada e o uso permitido ficam registrados com cada tarefa. Política de avaliação e licenciamento.
- Manutenção
- À medida que os modelos melhoram, os verificadores são reforçados e as tarefas saturadas são substituídas por outras mais difíceis da mesma família.
Comece
Leia uma tarefa antes de decidir.
Inspecione uma tarefa completa antes de discutir uma integração.
Solicitar pacote de amostras Abrir a tarefa de amostra de CAD