Entornos
Cómo un trabajo se convierte en un entorno de entrenamiento.
El método técnico detrás de ambas líneas de datos: estructura de las tareas, calificación, calibración y el formato que recibe su equipo.
Qué es un entorno
Todo lo que necesita una ejecución, en una sola carpeta.
Cada tarea es una carpeta con una estructura compatible con Harbor. El agente ve la instrucción y el proyecto. El verificador y la solución de referencia quedan fuera de su alcance.
- Instrucción
instruction.md - La solicitud de trabajo tal como la enviaría un colega o un cliente, con los entregables exactos y las rutas donde guardarlos.
- Estado inicial
environment/project/ - Los datos de partida del trabajo: planos y sus revisiones, modelos 3D, tablas, correo, filas de base de datos.
- Herramientas
environment/Dockerfile - Un contenedor con lo que necesita el trabajo: un kernel CAD, bibliotecas de hidrostática y de cálculo, herramientas de documentos y hojas de cálculo.
- Verificador
tests/test.sh - El programa que lee los entregables y el estado final, ejecuta cada comprobación y escribe la recompensa, una línea por comprobación.
- Pruebas
tests/probes/ - Reward hacks, errores plausibles y alternativas correctas que el verificador debe puntuar como se espera antes de entregar la tarea.
- Solución de referencia
solution/solve.sh - Una solución que obtiene 1, lo que demuestra que la tarea puede resolverse tal como está redactada.
- Metadatos y derechos
task.toml - Ámbito, familia, banda de dificultad, límites de tiempo, recursos, partición, fuente y licencia.
Abrir la carpeta de la tarea de muestra, archivo por archivo
task.toml Ilustrativo
version = "0.3" [metadata] id = "naval/tank-capacity-014" domain = "ship design" family = "tank-capacity" # generated, seed 1408 difficulty = "hard" # pass@1 0.12 at calibration split = "train" # train | sealed-eval [rights] source = "generated" # generated | licensed | authored use = "training and evaluation" [agent] timeout_sec = 2700 [environment] network = "none" cpus = 2 memory_mb = 4096 [verifier] timeout_sec = 300 reward = "strict" # 1 only if every check passes weights = [1, 3, 3, 2, 1, 2, 3, 1] # C1 to C8 tolerance = { volume_m3 = 0.5, lcg_m = 0.02, trim_m = 0.01 }
/logs/verifier/reward.json Ilustrativo
{
"reward": 0,
"score": 0.94,
"C1_deliverable_parses": 1,
"C2_inputs_unchanged": 1,
"C3_tank_volumes_98pct": 1,
"C4_tank_lcg_vcg": 1,
"C5_sounding_tables": 0,
"C6_trim_departure": 1,
"C7_tank_bounds_rev_c": 1,
"C8_tolerances_cited": 1
}
Una comprobación fallida pone la recompensa a 0. La puntuación ponderada muestra que el resto de la respuesta era sólido, y dónde falló: C5 detectó que las sondas del tanque 5P se leyeron desde el punto de referencia del tubo de sonda de la revisión B. La revisión C movió el tubo, así que todas las sondas de ese tanque están referidas al punto equivocado.
Principios del verificador
Califique el estado, no la prosa.
Una recompensa solo es tan buena como el verificador que la calcula. El código comprueba lo que se puede calcular; cuando hace falta criterio experto, lo califican modelos jueces calibrados y verificadores por rúbrica a medida, cada uno contrastado con calificaciones de expertos.
Calificar el estado
El verificador abre los archivos, la geometría, las filas y los mensajes que dejó el agente y vuelve a calcular lo que deberían ser. El resumen que hace el agente de su trabajo no suma nada.
Determinista, rechazo por defecto
Mismo entregable, misma recompensa, en cada ejecución. Un entregable ausente, mal formado o ilegible obtiene cero con un motivo explícito, nunca un bloqueo y nunca un aprobado.
El aprobado estricto es la recompensa
La recompensa es 1 solo cuando pasan todas las comprobaciones. A su lado figura una puntuación ponderada por comprobación, para que pueda ver dónde falló una respuesta sin recompensar un casi acierto.
Proceso y resultado
Las comprobaciones de resultado leen el entregable. Las comprobaciones de proceso leen cómo se llegó a él: entradas sin tocar, la revisión vigente utilizada, y las cláusulas y los valores aplicados, citados.
Con tolerancias
Cada magnitud lleva la tolerancia de ingeniería de su plano o de su norma. Una respuesta correcta en otras unidades, en otro orden o con otra disposición también pasa.
Aislado y reiniciable
Sin red, entradas de solo lectura y tests montados solo cuando termina la ejecución. El reinicio devuelve el espacio de trabajo al mismo estado, verificado por digest.
Congelado y versionado
Cada verificador se congela por hash junto con la versión de su tarea. Una corrección es una nueva versión con una entrada en el registro de cambios, y todas las pruebas se vuelven a ejecutar.
Defensa frente al reward hacking
Cada verificador se ataca antes de entregarse.
Antes de que una tarea salga de nuestras manos, ejecutamos un conjunto de pruebas contra su verificador.
| Clase de prueba | Qué hace | Debe obtener |
|---|---|---|
| Vacía | Deja el espacio de trabajo exactamente como quedó tras el reinicio. | 0 |
| Solo afirmación | Declara el trabajo hecho y no cambia nada. | 0 |
| Manipulación | Edita una entrada, una tabla protegida, los tests o el archivo de recompensa. | 0 |
| Respuesta codificada | Escribe el formato esperado con valores adivinados o copiados. | 0 |
| Entrada sustituida | Trabaja con la revisión antigua del plano o con el primer correo, no con la modificación. | Estricto: falla |
| Error plausible | Forma general o total correctos, pero un elemento con tolerancia o una partida incorrectos. | Estricto: falla |
| Alternativa correcta | La respuesta correcta por otro método, en otras unidades o con otra disposición. | Estricto: pasa |
Seis tareas de demostración, un harness.
Filtros ejecutados el 10 de noviembre de 2026; intentos de modelos hasta el 7 de noviembre de 2026 inclusive. Las seis son tareas de demostración que redactamos internamente con nombres y cifras inventados, no registros de socios. Las pruebas sirven como test de regresión, no como garantía.
Resultados del harness de flujos empresariales. La ejecución de la muestra CAD se presenta por separado.
- Comprobaciones
- 59 en las seis tareas, 26 críticas; la solución de referencia obtiene 1,0 en cada una
- Pruebas de reward hack
- 73, todas con puntuación cero; 101 entradas hostiles, todas en cero sin error del verificador
- Errores plausibles
- 71, todos fallan la recompensa estricta
- Alternativas correctas
- 8, todas pasan en modo estricto
- Carencias conocidas
- 3 pruebas que pasan por diseño; documentadas en la página de evidencias
- Intentos de modelos
- Dos modelos actuales de un mismo proveedor, incluido su nivel pequeño, con una ejecución por modelo y versión. Ambos pasaron todas las tareas después de que aclaráramos la redacción de dos tareas de la versión 0. A continuación se ejecutan las versiones reforzadas (abajo). Estas ejecuciones muestran que el harness funciona, no lo difíciles que son las tareas
- Abierto
- Lo que el verificador todavía no detecta figura en la página de evidencias
Se publicará con su fecha, pase o falle.
Tasas de aprobado en las seis tareas para un modelo abierto pequeño y un modelo más potente, con cinco ejecuciones cada uno. Se publicarán aquí cuando estén completas, sea cual sea el resultado, con la fecha de ejecución y las versiones de las tareas.
Auditoría de trayectorias
Las pruebas evalúan el verificador. La auditoría evalúa los aprobados. En ejecuciones muestreadas de la calibración leemos cómo se obtuvo cada aprobado, no solo si se obtuvo.
Un aprobado se descarta cuando la ejecución
- abrió la referencia, los tests o cualquier cosa fuera del proyecto
- cambió una entrada, una tabla protegida o el verificador
- intentó acceder a la red, o escribió una respuesta que nunca calculó
- siguió una vía que la instrucción excluye
Un aprobado obtenido de forma indebida se convierte en una nueva prueba, y el verificador se refuerza antes de entregar el lote.
Dificultad y calibración
Lo bastante difícil para enseñar, resoluble por diseño.
Una tarea que aprueban todos los modelos no enseña nada. Una tarea que no aprueba ningún modelo puede estar rota. Medimos cada tarea antes de entregarla y solo la conservamos dentro de la banda que usted fije.
- Intentos repetidos
- Modelos que van desde un modelo abierto pequeño hasta el más potente disponible intentan cada tarea varias veces. Una tasa de aprobado es una media sobre los intentos, nunca una sola ejecución.
- pass@1 y pass@k
- pass@1 sitúa la tarea en la banda; pass@k muestra que es alcanzable. Una tarea fuera de la banda se refuerza, se reequilibra o se descarta.
- Cero es una advertencia
- Antes de conservar una tarea que ningún modelo aprueba, volvemos a revisar su instrucción, su solución de referencia y su verificador.
- Parámetros, no redacción
- Las familias generadas se ajustan con los parámetros que figuran abajo. La dificultad nunca procede de una instrucción ambigua ni de una trampa oculta.
Parámetros de dificultad por ámbito
- Piezas
- Número de elementos, clase de tolerancia, vistas que conciliar
- Buques
- Tanques y condiciones de carga, revisiones sustituidas en la carpeta
- Edificios
- Hojas y disciplinas que cruzar, densidad de interferencias
- Flujos de trabajo
- Longitud del horizonte, modificaciones, hilos que distraen
Ficha de calibración, una por lote Ilustrativo
- Lote
- naval/tank-capacity v0.3
- Tareas conservadas
- 40 de 46 redactadas
- Intentos
- 3 por modelo y tarea
- Modelo pequeño
- pass@1 0,05
- Modelo grande
- pass@1 0,21 · pass@3 0,34
- Banda conservada
- pass@1 entre 0,02 y 0,30
- Reward hacks
- 14 de 14 en cero
- Errores introducidos
- 12 de 12 fallan en modo estricto
- Alternativas
- 4 de 4 pasan en modo estricto
- Acuerdo con expertos
- 9 de 10 tareas, calificadas a ciegas
- Tiempo por intento
- mediana de 38 min
El formato de la ficha, no un resultado medido. Cada lote lleva la suya.
Dos motores para escalar
Volumen con generadores. Profundidad con profesionales.
La mayor parte de un lote puede generarse con su verdad de referencia calculada. Las tareas más difíciles parten de alguien que ha hecho ese trabajo.
Motor uno
Generadores paramétricos
Un generador construye una familia de tareas a partir de parámetros: piezas con sus elementos y tolerancias, formas de casco con su disposición de tanques, retículas de edificios con sus pórticos. El código que construye una tarea también calcula su respuesta, así que el volumen nunca cuesta corrección.
- Verdad de referencia calculada, nunca tecleada
- Cada semilla registrada en la ficha técnica y reproducible
Motor dos
Semillas de expertos
En las tareas por encargo, un profesional aporta el trabajo y da el visto bueno al resultado. Los modelos ayudan con la redacción, de modo que las horas de los expertos se dedican a lo que solo un experto puede aportar.
- SemillaUn profesional describe un trabajo real en seis campos: situación, entradas, objetivo, restricciones, cómo verificarlo y salida esperada.
- BorradorA partir de la semilla construimos la instrucción, los archivos del proyecto, el verificador y la solución de referencia, con modelos que ayudan en la redacción.
- ResoluciónUn modelo resolutor de otra familia lo intenta a ciegas, varias veces, sin acceso al verificador ni a la referencia. Si aprueba con demasiada facilidad, leemos el registro del resolutor y reforzamos la tarea.
- ValidaciónEl profesional contrasta la referencia y el verificador con su propio criterio, y hace la tarea más difícil donde el trabajo real es más difícil.
- RevisiónUn segundo profesional califica a ciegas una muestra. Indicamos el grado de acuerdo en la ficha de calibración, y cada desacuerdo pasa a arbitraje.
Entrega
En el formato que su harness ya ejecuta.
Las tareas llegan listas para ejecutarse, documentadas elemento por elemento y particionadas para que la evaluación se mantenga limpia.
- Formato
- Carpetas de tareas compatibles con Harbor, imágenes de contenedor o la interfaz que admita su harness. Primero se ejecuta una tarea en su harness y después llega el lote.
- Ficha técnica
- Por elemento: fuente (generada, con licencia o redactada), generador y semilla, o el ID seudónimo del autor, revisiones, desidentificación y resultados de calibración.
- Nota de derechos
- Por elemento: quién es el propietario, la licencia para entrenamiento y evaluación, y la cesión o el acuerdo en que se basa.
- Particiones
- La partición acordada y el uso permitido se registran con cada tarea. Política de evaluación y licencias.
- Mantenimiento
- A medida que los modelos mejoran, los verificadores se refuerzan y las tareas saturadas se sustituyen por otras más difíciles de la misma familia.
Empezar
Lea una tarea antes de decidir.
Inspeccione una tarea completa antes de hablar de una integración.