Menu

Ambienti

Come un lavoro diventa un ambiente di addestramento.

Il metodo tecnico alla base di entrambe le linee di dati: struttura dei task, valutazione, calibrazione e il formato che riceve il Suo team.

Apra il task CAD di esempio Richieda un pacchetto di esempi

Che cos’è un ambiente

Tutto ciò che serve a un’esecuzione, in una sola cartella.

Ogni task è una cartella con una struttura compatibile con Harbor. L’agente vede l’istruzione e il progetto. Il verificatore e la soluzione di riferimento restano fuori dalla sua portata.

Istruzione instruction.md
La richiesta di lavoro come la invierebbe un collega o un cliente, con i deliverable esatti e i percorsi in cui salvarli.
Stato iniziale environment/project/
I dati di partenza del lavoro: disegni e relative revisioni, modelli 3D, tabelle, posta, righe di database.
Strumenti environment/Dockerfile
Un container con ciò che serve al lavoro: un kernel CAD, librerie di idrostatica e di calcolo, strumenti per documenti e fogli di calcolo.
Verificatore tests/test.sh
Il programma che legge i deliverable e lo stato finale, esegue ogni controllo e scrive la ricompensa, una riga per controllo.
Sonde tests/probes/
Reward hack, errori plausibili e alternative corrette a cui il verificatore deve assegnare il punteggio previsto prima che il task venga rilasciato.
Soluzione di riferimento solution/solve.sh
Una soluzione che ottiene 1, a prova del fatto che il task è risolvibile così come è scritto.
Metadati e diritti task.toml
Dominio, famiglia, fascia di difficoltà, limiti di tempo, risorse, suddivisione, fonte e licenza.

Apra la cartella del task di esempio, file per file

task.toml Illustrativo

version = "0.3"

[metadata]
id          = "naval/tank-capacity-014"
domain      = "ship design"
family      = "tank-capacity"   # generated, seed 1408
difficulty  = "hard"            # pass@1 0.12 at calibration
split       = "train"           # train | sealed-eval

[rights]
source      = "generated"       # generated | licensed | authored
use         = "training and evaluation"

[agent]
timeout_sec = 2700

[environment]
network     = "none"
cpus        = 2
memory_mb   = 4096

[verifier]
timeout_sec = 300
reward      = "strict"          # 1 only if every check passes
weights     = [1, 3, 3, 2, 1, 2, 3, 1]   # C1 to C8
tolerance   = { volume_m3 = 0.5, lcg_m = 0.02, trim_m = 0.01 }

/logs/verifier/reward.json Illustrativo

{
  "reward": 0,
  "score": 0.94,
  "C1_deliverable_parses": 1,
  "C2_inputs_unchanged": 1,
  "C3_tank_volumes_98pct": 1,
  "C4_tank_lcg_vcg": 1,
  "C5_sounding_tables": 0,
  "C6_trim_departure": 1,
  "C7_tank_bounds_rev_c": 1,
  "C8_tolerances_cited": 1
}

Un solo controllo non superato porta la ricompensa a 0. Il punteggio ponderato mostra che il resto della risposta era corretto, e dove si è sbagliato: C5 ha rilevato che i sondaggi della cassa 5P erano letti dal riferimento del tubo di sonda della revisione B. La revisione C ha spostato il tubo, quindi ogni sondaggio di quella cassa è riferito al punto sbagliato.

Principi del verificatore

Valutare lo stato, non la prosa.

Una ricompensa vale quanto il verificatore che la calcola. Il codice verifica ciò che si può calcolare; dove serve il giudizio di un esperto, la valutazione è affidata a modelli giudice calibrati e a verificatori personalizzati basati su rubrica, ciascuno confrontato con le valutazioni di esperti.

Valutare lo stato

Il verificatore apre i file, la geometria, le righe e i messaggi lasciati dall’agente e ricalcola come dovrebbero essere. Il riepilogo che l’agente fa del proprio lavoro non vale nulla.

Deterministico, fail-closed

Stesso deliverable, stessa ricompensa, a ogni esecuzione. Un deliverable mancante, malformato o illeggibile ottiene zero con una motivazione dichiarata, mai un crash e mai un superamento.

Il superamento rigoroso è la ricompensa

La ricompensa è 1 solo quando ogni controllo è superato. Accanto c’è un punteggio ponderato per controllo, che permette di vedere dove una risposta ha sbagliato senza premiare un quasi-successo.

Processo ed esito

I controlli di esito leggono il deliverable. I controlli di processo leggono come ci si è arrivati: input lasciati intatti, revisione corrente utilizzata, e clausole e valori applicati, citati.

Attento alle tolleranze

Ogni grandezza porta con sé la tolleranza ingegneristica del suo disegno o della sua norma. Una risposta corretta in altre unità, in un altro ordine o con un’altra disposizione è comunque superata.

Isolato e ripristinabile

Nessuna rete, input in sola lettura e test montati solo al termine dell’esecuzione. Il reset riporta lo spazio di lavoro allo stesso stato, verificato tramite digest.

Congelato e versionato

Ogni verificatore è congelato tramite hash insieme alla versione del task. Una correzione è una nuova versione con una voce nel change log, e ogni sonda viene rieseguita.

Ingegneria e geometria Record aziendali e risposte

Difesa dal reward hacking

Ogni verificatore viene attaccato prima del rilascio.

Prima che un task esca da noi, eseguiamo una serie di sonde contro il suo verificatore.

Classe di sondaChe cosa faPunteggio richiesto
VuotaLascia lo spazio di lavoro esattamente com’era dopo il reset.0
Solo dichiarazioneDichiara il lavoro svolto e non cambia nulla.0
ManomissioneModifica un input, una tabella protetta, i test o il file della ricompensa.0
Risposta codificata a manoScrive il formato atteso con valori indovinati o copiati.0
Input superatoLavora sulla vecchia revisione del disegno o sulla prima email, non sulla modifica.Non supera il criterio rigoroso
Errore plausibileForma o totale complessivi giusti, feature con tolleranza o voce di riga sbagliata.Non supera il criterio rigoroso
Alternativa correttaLa risposta giusta con un altro metodo, in altre unità o con un’altra disposizione.Supera il criterio rigoroso
Sei task dimostrativi, un solo harness.

Gate eseguiti il 10 novembre 2026; tentativi dei modelli entro il 7 novembre 2026. Tutti e sei sono task dimostrativi scritti internamente da noi con nomi e cifre inventati, non record di partner. Le sonde sono un test di regressione, non una garanzia.

Risultati dell’harness dei flussi di lavoro aziendali. L’esecuzione dell’esempio CAD è riportata separatamente.

Controlli
59 nei sei task, di cui 26 critici; la soluzione di riferimento ottiene 1,0 in ciascuno
Sonde di reward hack
73, tutte con punteggio zero; 101 input ostili, tutti a zero senza errori del verificatore
Errori plausibili
71, nessuno dei quali ottiene la ricompensa rigorosa
Alternative corrette
8, tutte superano il criterio rigoroso
Lacune note
3 sonde superate per progettazione; documentate nella pagina delle evidenze
Tentativi dei modelli
Due modelli attuali di uno stesso fornitore, compresa la sua fascia piccola, un rollout per modello per versione. Entrambi hanno superato ogni task dopo che abbiamo chiarito la formulazione di due task della versione 0. Le versioni rafforzate sono le prossime a essere eseguite (più sotto). Queste esecuzioni dimostrano che l’harness funziona, non quanto siano difficili i task
Questioni aperte
Ciò che il verificatore non rileva ancora è nella pagina delle evidenze

Pubblicati con la data, superati o no.

Pianificato

Tassi di superamento sui sei task per un piccolo modello open e un modello più potente, cinque rollout ciascuno. Pubblicati qui al termine, qualunque sia il risultato, con la data di esecuzione e le versioni dei task.

Richieda un pacchetto di esempi Prenoti la dimostrazione guidata

Audit delle traiettorie

Le sonde mettono alla prova il verificatore. L’audit mette alla prova i superamenti. Su esecuzioni campionate dalla calibrazione leggiamo come è stato ottenuto ogni superamento, non solo che sia stato ottenuto.

Un superamento viene scartato quando l’esecuzione

  • ha aperto il riferimento, i test o qualsiasi cosa al di fuori del progetto
  • ha modificato un input, una tabella protetta o il verificatore
  • ha tentato di accedere alla rete, o ha scritto una risposta che non ha mai calcolato
  • ha seguito un percorso escluso dall’istruzione

Un superamento ottenuto nel modo sbagliato diventa una nuova sonda, e il verificatore viene rafforzato prima del rilascio del lotto.

Difficoltà e calibrazione

Abbastanza difficile da insegnare, risolvibile per progettazione.

Un task che ogni modello supera non insegna nulla. Un task che nessun modello supera potrebbe essere difettoso. Misuriamo ogni task prima del rilascio e lo manteniamo solo all’interno della fascia da Lei stabilita.

Tentativi ripetuti
Modelli che vanno da un piccolo modello open al più potente disponibile tentano ogni task più volte. Un tasso di superamento è una media sui tentativi, mai una singola esecuzione.
pass@1 e pass@k
pass@1 colloca il task nella fascia; pass@k mostra che è raggiungibile. Un task fuori dalla fascia viene rafforzato, ribilanciato o scartato.
Zero è un campanello d’allarme
Prima di mantenere un task che nessun modello supera, ricontrolliamo la sua istruzione, la sua soluzione di riferimento e il suo verificatore.
Parametri, non formulazione
Le famiglie generate si regolano con i parametri indicati sotto. La difficoltà non nasce mai da un’istruzione ambigua o da una trappola nascosta.

Parametri di difficoltà per dominio

Pezzi
Numero di feature, classe di tolleranza, viste da riconciliare
Navi
Casse e condizioni di carico, revisioni superate nella cartella
Edifici
Tavole e discipline da incrociare, densità delle interferenze
Flussi di lavoro
Lunghezza dell’orizzonte, modifiche, thread di distrazione

Scheda di calibrazione, una per lotto Illustrativo

Lotto
naval/tank-capacity v0.3
Task mantenuti
40 su 46 redatti
Tentativi
3 per modello per task
Modello piccolo
pass@1 0,05
Modello grande
pass@1 0,21 · pass@3 0,34
Fascia mantenuta
pass@1 tra 0,02 e 0,30
Reward hack
14 su 14 a zero
Errori inseriti di proposito
12 su 12 non superano il criterio rigoroso
Alternative
4 su 4 superano il criterio rigoroso
Accordo con gli esperti
9 task su 10, valutati alla cieca
Tempo per tentativo
mediana 38 min

Il formato della scheda, non un risultato misurato. Ogni lotto ha la propria.

Due motori per la scala

Volume dai generatori. Profondità dai professionisti.

Gran parte di un lotto può essere generata con la verità di riferimento calcolata. I task più difficili partono da qualcuno che ha svolto quel lavoro.

Motore uno

Generatori parametrici

Un generatore costruisce una famiglia di task a partire da parametri: pezzi con le loro feature e tolleranze, forme di scafo con la disposizione delle casse, griglie di edifici con i loro telai. Il codice che costruisce un task ne calcola anche la risposta, così il volume non va mai a scapito della correttezza.

  • Verità di riferimento calcolata, mai digitata
  • Ogni seed registrato nella scheda tecnica e riproducibile
Generati. Nove pezzi dai nostri generatori, costruiti feature per feature.

Motore due

Seed di esperti

Per i task commissionati, un professionista fornisce il lavoro e approva il risultato. I modelli assistono nella stesura, così le ore degli esperti vanno dove solo un esperto può aiutare.

  1. SeedUn professionista descrive un lavoro reale in sei campi: situazione, input, obiettivo, vincoli, modalità di verifica, output atteso.
  2. BozzaDal seed costruiamo l’istruzione, i file di progetto, il verificatore e la soluzione di riferimento, con i modelli che assistono nella stesura.
  3. RisoluzioneUn modello risolutore di un’altra famiglia lo tenta alla cieca, più volte, senza accesso al verificatore né al riferimento. Se lo supera troppo facilmente, leggiamo il log del risolutore e rafforziamo il task.
  4. ConvalidaIl professionista confronta il riferimento e il verificatore con il proprio giudizio, e rende il task più difficile dove il lavoro reale è più difficile.
  5. RevisioneUn secondo professionista valuta un campione alla cieca. Riportiamo l’accordo nella scheda di calibrazione, e ogni disaccordo passa all’arbitrato.

Consegna

Nella forma che il Suo harness già esegue.

I task arrivano pronti da eseguire, documentati voce per voce e suddivisi in modo che la valutazione resti pulita.

Formato
Cartelle di task compatibili con Harbor, immagini di container o l’interfaccia accettata dal Suo harness. Un task viene eseguito prima nel Suo harness, poi segue il lotto.
Scheda tecnica
Per ogni voce: fonte (generata, concessa in licenza o redatta), generatore e seed, oppure l’ID pseudonimo dell’autore, revisioni, de-identificazione e risultati della calibrazione.
Nota sui diritti
Per ogni voce: chi ne è titolare, la licenza per addestramento e valutazione, e la cessione o l’accordo su cui si fonda.
Suddivisioni
La suddivisione concordata e l’uso consentito sono registrati con ciascun task. Politica di valutazione e licenza.
Manutenzione
Man mano che i modelli migliorano, i verificatori vengono rafforzati e i task saturati vengono sostituiti con altri più difficili della stessa famiglia.

Per iniziare

Legga un task prima di decidere.

Esamini un task completo prima di discutere un’integrazione.

Richieda un pacchetto di esempi Apra il task CAD di esempio