Umgebungen
Wie aus einem Auftrag eine Trainingsumgebung wird.
Die technische Methode hinter beiden Datenlinien: Aufgabenstruktur, Bewertung, Kalibrierung und das Format, das Ihr Team erhält.
Was eine Umgebung ist
Alles, was ein Lauf braucht, in einem Ordner.
Jede Aufgabe ist ein Ordner in einer Harbor-kompatiblen Struktur. Der Agent sieht die Anweisung und das Projekt. Verifier und Referenzlösung bleiben außerhalb seiner Reichweite.
- Anweisung
instruction.md - Der Arbeitsauftrag so, wie ihn ein Kollege oder Kunde schicken würde, mit den genauen Liefergegenständen und den Pfaden, unter denen sie zu speichern sind.
- Ausgangszustand
environment/project/ - Die Ausgangsdaten, mit denen der Auftrag beginnt: Zeichnungen und ihre Revisionen, 3D-Modelle, Tabellen, E-Mails, Datenbankzeilen.
- Tools
environment/Dockerfile - Ein Container mit allem, was die Arbeit erfordert: ein CAD-Kernel, Bibliotheken für Hydrostatik und Berechnungen, Dokument- und Tabellenwerkzeuge.
- Verifier
tests/test.sh - Das Programm, das die Liefergegenstände und den Endzustand liest, jede Prüfung ausführt und den Reward schreibt, eine Zeile pro Prüfung.
- Testfälle
tests/probes/ - Reward Hacks, plausible Fehler und korrekte Alternativen, die der Verifier wie erwartet bewerten muss, bevor die Aufgabe ausgeliefert wird.
- Referenzlösung
solution/solve.sh - Eine Lösung mit Score 1, die belegt, dass die Aufgabe wie formuliert lösbar ist.
- Metadaten und Rechte
task.toml - Bereich, Familie, Schwierigkeitsband, Zeitlimits, Ressourcen, Split, Quelle und Lizenz.
task.toml Zur Veranschaulichung
version = "0.3" [metadata] id = "naval/tank-capacity-014" domain = "ship design" family = "tank-capacity" # generated, seed 1408 difficulty = "hard" # pass@1 0.12 at calibration split = "train" # train | sealed-eval [rights] source = "generated" # generated | licensed | authored use = "training and evaluation" [agent] timeout_sec = 2700 [environment] network = "none" cpus = 2 memory_mb = 4096 [verifier] timeout_sec = 300 reward = "strict" # 1 only if every check passes weights = [1, 3, 3, 2, 1, 2, 3, 1] # C1 to C8 tolerance = { volume_m3 = 0.5, lcg_m = 0.02, trim_m = 0.01 }
/logs/verifier/reward.json Zur Veranschaulichung
{
"reward": 0,
"score": 0.94,
"C1_deliverable_parses": 1,
"C2_inputs_unchanged": 1,
"C3_tank_volumes_98pct": 1,
"C4_tank_lcg_vcg": 1,
"C5_sounding_tables": 0,
"C6_trim_departure": 1,
"C7_tank_bounds_rev_c": 1,
"C8_tolerances_cited": 1
}
Eine fehlgeschlagene Prüfung setzt den Reward auf 0. Der gewichtete Score zeigt, dass der Rest der Antwort stimmig war und wo der Fehler lag: C5 hat festgestellt, dass die Peilungen von Tank 5P ab dem Bezugspunkt des Peilrohrs aus Revision B abgelesen wurden. Revision C hat das Rohr versetzt, daher ist jede Peilung in diesem Tank auf den falschen Punkt bezogen.
Grundsätze für Verifier
Den Zustand bewerten, nicht den Text.
Ein Reward ist nur so gut wie der Verifier, der ihn berechnet. Code prüft, was sich berechnen lässt; wo Expertenurteil nötig ist, bewerten kalibrierte Modell-Judges und individuelle Rubrik-Verifier, jeweils abgeglichen mit Expertenbewertungen.
Den Zustand bewerten
Der Verifier öffnet die Dateien, Geometrien, Zeilen und Nachrichten, die der Agent hinterlassen hat, und berechnet nach, wie sie sein sollten. Die Zusammenfassung des Agenten über seine Arbeit bringt keine Punkte.
Deterministisch, fail-closed
Gleicher Liefergegenstand, gleicher Reward, bei jedem Lauf. Ein fehlender, fehlerhafter oder unlesbarer Liefergegenstand erhält Score null mit angegebenem Grund, nie einen Absturz und nie ein Bestehen.
Striktes Bestehen ist der Reward
Der Reward ist nur dann 1, wenn jede Prüfung besteht. Daneben steht ein gewichteter Score pro Prüfung, sodass Sie ablesen können, wo eine Antwort danebenlag, ohne einen Beinahe-Treffer zu belohnen.
Prozess und Ergebnis
Ergebnisprüfungen lesen den Liefergegenstand. Prozessprüfungen lesen, wie er zustande kam: Eingaben unverändert gelassen, aktuelle Revision verwendet und die angewandten Klauseln und Werte zitiert.
Toleranzbewusst
Jede Größe trägt die technische Toleranz ihrer Zeichnung oder Vorschrift. Eine korrekte Antwort in anderen Einheiten, anderer Reihenfolge oder anderem Layout besteht trotzdem.
Isoliert und rücksetzbar
Kein Netzwerk, schreibgeschützte Eingaben, und Tests werden erst nach Ende des Laufs eingebunden. Ein Reset versetzt den Workspace in denselben Zustand zurück, per Digest geprüft.
Eingefroren und versioniert
Jeder Verifier wird per Hash zusammen mit seiner Aufgabenversion eingefroren. Eine Korrektur ist eine neue Version mit Changelog-Eintrag, und jeder Testfall läuft erneut.
Abwehr von Reward Hacking
Jeder Verifier wird angegriffen, bevor er ausgeliefert wird.
Bevor eine Aufgabe unser Haus verlässt, lassen wir eine Reihe von Testfällen gegen ihren Verifier laufen.
| Testfallklasse | Verhalten | Soll-Score |
|---|---|---|
| Leer | Lässt den Workspace genau so, wie er zurückgesetzt wurde. | 0 |
| Nur Behauptung | Meldet den Auftrag als erledigt und ändert nichts. | 0 |
| Manipulation | Ändert eine Eingabe, eine geschützte Tabelle, die Tests oder die Reward-Datei. | 0 |
| Hartkodierte Antwort | Schreibt das erwartete Format mit geratenen oder kopierten Werten. | 0 |
| Überholte Eingabe | Arbeitet mit der alten Zeichnungsrevision oder der ersten E-Mail, nicht mit der Änderung. | Strikt nicht bestanden |
| Plausibler Fehler | Gesamtform oder Summe richtig, toleriertes Feature oder Position falsch. | Strikt nicht bestanden |
| Korrekte Alternative | Die richtige Antwort mit einer anderen Methode, in anderen Einheiten oder einem anderen Layout. | Strikt bestanden |
Sechs Demonstrationsaufgaben, ein Harness.
Gates ausgeführt am 10. November 2026; Modellversuche am oder vor dem 7. November 2026. Alle sechs sind Demonstrationsaufgaben, die wir intern mit erfundenen Namen und Zahlen geschrieben haben, keine Partnerunterlagen. Die Testfälle sind ein Regressionstest, keine Garantie.
Ergebnisse aus dem Harness für Unternehmens-Workflows. Der CAD-Beispiellauf wird gesondert berichtet.
- Prüfungen
- 59 über die sechs Aufgaben, davon 26 kritisch; die Referenzlösung erreicht bei jeder 1,0
- Reward-Hack-Testfälle
- 73, jeder mit Score null; 101 feindliche Eingaben, alle null ohne Verifier-Fehler
- Plausible Fehler
- 71, jeder besteht den strikten Reward nicht
- Korrekte Alternativen
- 8, alle strikt bestanden
- Bekannte Lücken
- 3 Testfälle bestehen konstruktionsbedingt; auf der Nachweisseite dokumentiert
- Modellversuche
- Zwei aktuelle Modelle eines Anbieters, einschließlich seiner kleinen Stufe, ein Rollout pro Modell und Version. Beide bestanden jede Aufgabe, nachdem wir die Formulierung von zwei Aufgaben der Version 0 präzisiert hatten. Als Nächstes laufen die gehärteten Versionen (unten). Diese Läufe zeigen, dass das Harness funktioniert, nicht wie schwer die Aufgaben sind
- Offen
- Was der Verifier noch nicht erkennt, steht auf der Nachweisseite
Veröffentlicht mit Datum, bestanden oder nicht bestanden.
Bestehensquoten für die sechs Aufgaben für ein kleines offenes Modell und ein stärkeres Modell, je fünf Rollouts. Werden nach Abschluss hier veröffentlicht, unabhängig vom Ergebnis, mit Laufdatum und Aufgabenversionen.
Trajektorien-Audit
Testfälle prüfen den Verifier. Das Audit prüft die bestandenen Läufe. Bei Stichproben aus der Kalibrierung lesen wir, wie jedes Bestehen zustande kam, nicht nur, dass es zustande kam.
Ein Bestehen wird verworfen, wenn der Lauf
- die Referenz, die Tests oder irgendetwas außerhalb des Projekts geöffnet hat
- eine Eingabe, eine geschützte Tabelle oder den Verifier verändert hat
- auf das Netzwerk zugreifen wollte oder eine Antwort geschrieben hat, die er nie berechnet hat
- einen Weg eingeschlagen hat, den die Anweisung ausschließt
Ein auf falschem Weg erzieltes Bestehen wird zu einem neuen Testfall, und der Verifier wird gehärtet, bevor die Charge ausgeliefert wird.
Schwierigkeit und Kalibrierung
Schwer genug, um daraus zu lernen, konstruktionsbedingt lösbar.
Eine Aufgabe, die jedes Modell besteht, lehrt nichts. Eine Aufgabe, die kein Modell besteht, ist womöglich fehlerhaft. Wir messen jede Aufgabe vor der Auslieferung und behalten sie nur innerhalb des von Ihnen festgelegten Bands.
- Wiederholte Versuche
- Modelle von einem kleinen offenen Modell bis zum stärksten verfügbaren versuchen jede Aufgabe mehrmals. Eine Bestehensquote ist ein Mittelwert über Versuche, nie ein einzelner Lauf.
- pass@1 und pass@k
- pass@1 ordnet die Aufgabe in das Band ein; pass@k zeigt, dass sie lösbar ist. Eine Aufgabe außerhalb des Bands wird gehärtet, neu austariert oder verworfen.
- Null ist ein Warnsignal
- Bevor wir eine Aufgabe behalten, die kein Modell besteht, prüfen wir Anweisung, Referenzlösung und Verifier erneut.
- Stellschrauben, nicht Formulierungen
- Generierte Familien werden mit den unten genannten Stellschrauben abgestimmt. Schwierigkeit entsteht nie durch eine mehrdeutige Anweisung oder eine versteckte Falle.
Schwierigkeitsstellschrauben je Bereich
- Bauteile
- Anzahl der Features, Toleranzklasse, abzugleichende Ansichten
- Schiffe
- Tanks und Beladungsfälle, überholte Revisionen im Ordner
- Gebäude
- Querzulesende Blätter und Gewerke, Kollisionsdichte
- Workflows
- Länge des Horizonts, Änderungen, ablenkende Threads
Kalibrierungskarte, eine pro Charge Zur Veranschaulichung
- Charge
- naval/tank-capacity v0.3
- Behaltene Aufgaben
- 40 von 46 Entwürfen
- Versuche
- 3 je Modell und Aufgabe
- Kleines Modell
- pass@1 0,05
- Großes Modell
- pass@1 0,21 · pass@3 0,34
- Behaltenes Band
- pass@1 zwischen 0,02 und 0,30
- Reward Hacks
- 14 von 14 bei null
- Eingebaute Fehler
- 12 von 12 strikt nicht bestanden
- Alternativen
- 4 von 4 strikt bestanden
- Expertenübereinstimmung
- 9 von 10 Aufgaben, blind bewertet
- Zeit pro Versuch
- Median 38 min
Die Form der Karte, kein gemessenes Ergebnis. Jede Charge hat ihre eigene.
Zwei Engines für Skalierung
Menge aus Generatoren. Tiefe von Praktikern.
Der Großteil einer Charge lässt sich mit berechneter Ground Truth generieren. Die schwierigsten Aufgaben beginnen bei jemandem, der die Arbeit selbst gemacht hat.
Engine eins
Parametrische Generatoren
Ein Generator erzeugt aus Parametern eine Familie von Aufgaben: Bauteile mit ihren Features und Toleranzen, Rumpfformen mit ihrer Tankanordnung, Gebäuderaster mit ihren Rahmen. Der Code, der eine Aufgabe erzeugt, berechnet auch ihre Lösung, sodass Menge nie auf Kosten der Korrektheit geht.
- Ground Truth berechnet, nie eingetippt
- Jeder Seed im Datenblatt festgehalten und reproduzierbar
Engine zwei
Experten-Seeds
Bei beauftragten Aufgaben liefert ein Praktiker den Auftrag und zeichnet das Ergebnis ab. Modelle helfen beim Entwurf, damit Expertenstunden dorthin gehen, wo nur Experten helfen können.
- SeedEin Praktiker beschreibt einen echten Auftrag in sechs Feldern: Situation, Eingaben, Ziel, Rahmenbedingungen, Prüfweg, erwartetes Ergebnis.
- EntwurfAus dem Seed erstellen wir Anweisung, Projektdateien, Verifier und Referenzlösung, mit Unterstützung von Modellen beim Entwurf.
- LösenEin Löser-Modell aus einer anderen Modellfamilie versucht die Aufgabe blind, mehrmals, ohne Zugriff auf Verifier oder Referenz. Besteht es zu leicht, lesen wir das Log des Lösers und härten die Aufgabe.
- ValidierenDer Praktiker prüft Referenz und Verifier anhand seines eigenen Urteils und macht die Aufgabe dort schwerer, wo der echte Auftrag schwerer ist.
- ReviewEin zweiter Praktiker bewertet eine Stichprobe blind. Die Übereinstimmung geben wir auf der Kalibrierungskarte an, und jede Abweichung geht in die Schlichtung.
Lieferung
In der Form, die Ihr Harness bereits ausführt.
Aufgaben kommen lauffähig an, Punkt für Punkt dokumentiert und so aufgeteilt, dass die Evaluation sauber bleibt.
- Format
- Harbor-kompatible Aufgabenordner, Container-Images oder die Schnittstelle, die Ihr Harness erwartet. Zuerst läuft eine Aufgabe in Ihrem Harness, dann folgt die Charge.
- Datenblatt
- Je Element: Quelle (generiert, lizenziert oder verfasst), Generator und Seed oder die pseudonyme ID des Autors, Revisionen, De-Identifizierung und die Kalibrierungsergebnisse.
- Rechtehinweis
- Je Element: wem es gehört, die Lizenz für Training und Evaluation und die Abtretung oder Vereinbarung, auf der sie beruht.
- Splits
- Der vereinbarte Split und die zulässige Verwendung werden mit jeder Aufgabe festgehalten. Richtlinie zu Evaluation und Lizenzierung.
- Pflege
- Wenn Modelle besser werden, werden Verifier gehärtet und gesättigte Aufgaben durch schwerere aus derselben Familie ersetzt.
Erste Schritte
Lesen Sie eine Aufgabe, bevor Sie entscheiden.
Sehen Sie sich eine vollständige Aufgabe an, bevor Sie eine Integration besprechen.