Menú

Entornos

Cómo un trabajo se convierte en un entorno de entrenamiento.

El método técnico detrás de ambas líneas de datos: estructura de las tareas, calificación, calibración y el formato que recibe su equipo.

Abrir la tarea de muestra CAD Solicitar paquete de muestra

Qué es un entorno

Todo lo que necesita una ejecución, en una sola carpeta.

Cada tarea es una carpeta con una estructura compatible con Harbor. El agente ve la instrucción y el proyecto. El verificador y la solución de referencia quedan fuera de su alcance.

Instrucción instruction.md
La solicitud de trabajo tal como la enviaría un colega o un cliente, con los entregables exactos y las rutas donde guardarlos.
Estado inicial environment/project/
Los datos de partida del trabajo: planos y sus revisiones, modelos 3D, tablas, correo, filas de base de datos.
Herramientas environment/Dockerfile
Un contenedor con lo que necesita el trabajo: un kernel CAD, bibliotecas de hidrostática y de cálculo, herramientas de documentos y hojas de cálculo.
Verificador tests/test.sh
El programa que lee los entregables y el estado final, ejecuta cada comprobación y escribe la recompensa, una línea por comprobación.
Pruebas tests/probes/
Reward hacks, errores plausibles y alternativas correctas que el verificador debe puntuar como se espera antes de entregar la tarea.
Solución de referencia solution/solve.sh
Una solución que obtiene 1, lo que demuestra que la tarea puede resolverse tal como está redactada.
Metadatos y derechos task.toml
Ámbito, familia, banda de dificultad, límites de tiempo, recursos, partición, fuente y licencia.

Abrir la carpeta de la tarea de muestra, archivo por archivo

task.toml Ilustrativo

version = "0.3"

[metadata]
id          = "naval/tank-capacity-014"
domain      = "ship design"
family      = "tank-capacity"   # generated, seed 1408
difficulty  = "hard"            # pass@1 0.12 at calibration
split       = "train"           # train | sealed-eval

[rights]
source      = "generated"       # generated | licensed | authored
use         = "training and evaluation"

[agent]
timeout_sec = 2700

[environment]
network     = "none"
cpus        = 2
memory_mb   = 4096

[verifier]
timeout_sec = 300
reward      = "strict"          # 1 only if every check passes
weights     = [1, 3, 3, 2, 1, 2, 3, 1]   # C1 to C8
tolerance   = { volume_m3 = 0.5, lcg_m = 0.02, trim_m = 0.01 }

/logs/verifier/reward.json Ilustrativo

{
  "reward": 0,
  "score": 0.94,
  "C1_deliverable_parses": 1,
  "C2_inputs_unchanged": 1,
  "C3_tank_volumes_98pct": 1,
  "C4_tank_lcg_vcg": 1,
  "C5_sounding_tables": 0,
  "C6_trim_departure": 1,
  "C7_tank_bounds_rev_c": 1,
  "C8_tolerances_cited": 1
}

Una comprobación fallida pone la recompensa a 0. La puntuación ponderada muestra que el resto de la respuesta era sólido, y dónde falló: C5 detectó que las sondas del tanque 5P se leyeron desde el punto de referencia del tubo de sonda de la revisión B. La revisión C movió el tubo, así que todas las sondas de ese tanque están referidas al punto equivocado.

Principios del verificador

Califique el estado, no la prosa.

Una recompensa solo es tan buena como el verificador que la calcula. El código comprueba lo que se puede calcular; cuando hace falta criterio experto, lo califican modelos jueces calibrados y verificadores por rúbrica a medida, cada uno contrastado con calificaciones de expertos.

Calificar el estado

El verificador abre los archivos, la geometría, las filas y los mensajes que dejó el agente y vuelve a calcular lo que deberían ser. El resumen que hace el agente de su trabajo no suma nada.

Determinista, rechazo por defecto

Mismo entregable, misma recompensa, en cada ejecución. Un entregable ausente, mal formado o ilegible obtiene cero con un motivo explícito, nunca un bloqueo y nunca un aprobado.

El aprobado estricto es la recompensa

La recompensa es 1 solo cuando pasan todas las comprobaciones. A su lado figura una puntuación ponderada por comprobación, para que pueda ver dónde falló una respuesta sin recompensar un casi acierto.

Proceso y resultado

Las comprobaciones de resultado leen el entregable. Las comprobaciones de proceso leen cómo se llegó a él: entradas sin tocar, la revisión vigente utilizada, y las cláusulas y los valores aplicados, citados.

Con tolerancias

Cada magnitud lleva la tolerancia de ingeniería de su plano o de su norma. Una respuesta correcta en otras unidades, en otro orden o con otra disposición también pasa.

Aislado y reiniciable

Sin red, entradas de solo lectura y tests montados solo cuando termina la ejecución. El reinicio devuelve el espacio de trabajo al mismo estado, verificado por digest.

Congelado y versionado

Cada verificador se congela por hash junto con la versión de su tarea. Una corrección es una nueva versión con una entrada en el registro de cambios, y todas las pruebas se vuelven a ejecutar.

Ingeniería y geometría Registros de negocio y respuestas

Defensa frente al reward hacking

Cada verificador se ataca antes de entregarse.

Antes de que una tarea salga de nuestras manos, ejecutamos un conjunto de pruebas contra su verificador.

Clase de pruebaQué haceDebe obtener
VacíaDeja el espacio de trabajo exactamente como quedó tras el reinicio.0
Solo afirmaciónDeclara el trabajo hecho y no cambia nada.0
ManipulaciónEdita una entrada, una tabla protegida, los tests o el archivo de recompensa.0
Respuesta codificadaEscribe el formato esperado con valores adivinados o copiados.0
Entrada sustituidaTrabaja con la revisión antigua del plano o con el primer correo, no con la modificación.Estricto: falla
Error plausibleForma general o total correctos, pero un elemento con tolerancia o una partida incorrectos.Estricto: falla
Alternativa correctaLa respuesta correcta por otro método, en otras unidades o con otra disposición.Estricto: pasa
Seis tareas de demostración, un harness.

Filtros ejecutados el 10 de noviembre de 2026; intentos de modelos hasta el 7 de noviembre de 2026 inclusive. Las seis son tareas de demostración que redactamos internamente con nombres y cifras inventados, no registros de socios. Las pruebas sirven como test de regresión, no como garantía.

Resultados del harness de flujos empresariales. La ejecución de la muestra CAD se presenta por separado.

Comprobaciones
59 en las seis tareas, 26 críticas; la solución de referencia obtiene 1,0 en cada una
Pruebas de reward hack
73, todas con puntuación cero; 101 entradas hostiles, todas en cero sin error del verificador
Errores plausibles
71, todos fallan la recompensa estricta
Alternativas correctas
8, todas pasan en modo estricto
Carencias conocidas
3 pruebas que pasan por diseño; documentadas en la página de evidencias
Intentos de modelos
Dos modelos actuales de un mismo proveedor, incluido su nivel pequeño, con una ejecución por modelo y versión. Ambos pasaron todas las tareas después de que aclaráramos la redacción de dos tareas de la versión 0. A continuación se ejecutan las versiones reforzadas (abajo). Estas ejecuciones muestran que el harness funciona, no lo difíciles que son las tareas
Abierto
Lo que el verificador todavía no detecta figura en la página de evidencias

Se publicará con su fecha, pase o falle.

Previsto

Tasas de aprobado en las seis tareas para un modelo abierto pequeño y un modelo más potente, con cinco ejecuciones cada uno. Se publicarán aquí cuando estén completas, sea cual sea el resultado, con la fecha de ejecución y las versiones de las tareas.

Solicitar paquete de muestra Reservar el recorrido guiado

Auditoría de trayectorias

Las pruebas evalúan el verificador. La auditoría evalúa los aprobados. En ejecuciones muestreadas de la calibración leemos cómo se obtuvo cada aprobado, no solo si se obtuvo.

Un aprobado se descarta cuando la ejecución

  • abrió la referencia, los tests o cualquier cosa fuera del proyecto
  • cambió una entrada, una tabla protegida o el verificador
  • intentó acceder a la red, o escribió una respuesta que nunca calculó
  • siguió una vía que la instrucción excluye

Un aprobado obtenido de forma indebida se convierte en una nueva prueba, y el verificador se refuerza antes de entregar el lote.

Dificultad y calibración

Lo bastante difícil para enseñar, resoluble por diseño.

Una tarea que aprueban todos los modelos no enseña nada. Una tarea que no aprueba ningún modelo puede estar rota. Medimos cada tarea antes de entregarla y solo la conservamos dentro de la banda que usted fije.

Intentos repetidos
Modelos que van desde un modelo abierto pequeño hasta el más potente disponible intentan cada tarea varias veces. Una tasa de aprobado es una media sobre los intentos, nunca una sola ejecución.
pass@1 y pass@k
pass@1 sitúa la tarea en la banda; pass@k muestra que es alcanzable. Una tarea fuera de la banda se refuerza, se reequilibra o se descarta.
Cero es una advertencia
Antes de conservar una tarea que ningún modelo aprueba, volvemos a revisar su instrucción, su solución de referencia y su verificador.
Parámetros, no redacción
Las familias generadas se ajustan con los parámetros que figuran abajo. La dificultad nunca procede de una instrucción ambigua ni de una trampa oculta.

Parámetros de dificultad por ámbito

Piezas
Número de elementos, clase de tolerancia, vistas que conciliar
Buques
Tanques y condiciones de carga, revisiones sustituidas en la carpeta
Edificios
Hojas y disciplinas que cruzar, densidad de interferencias
Flujos de trabajo
Longitud del horizonte, modificaciones, hilos que distraen

Ficha de calibración, una por lote Ilustrativo

Lote
naval/tank-capacity v0.3
Tareas conservadas
40 de 46 redactadas
Intentos
3 por modelo y tarea
Modelo pequeño
pass@1 0,05
Modelo grande
pass@1 0,21 · pass@3 0,34
Banda conservada
pass@1 entre 0,02 y 0,30
Reward hacks
14 de 14 en cero
Errores introducidos
12 de 12 fallan en modo estricto
Alternativas
4 de 4 pasan en modo estricto
Acuerdo con expertos
9 de 10 tareas, calificadas a ciegas
Tiempo por intento
mediana de 38 min

El formato de la ficha, no un resultado medido. Cada lote lleva la suya.

Dos motores para escalar

Volumen con generadores. Profundidad con profesionales.

La mayor parte de un lote puede generarse con su verdad de referencia calculada. Las tareas más difíciles parten de alguien que ha hecho ese trabajo.

Motor uno

Generadores paramétricos

Un generador construye una familia de tareas a partir de parámetros: piezas con sus elementos y tolerancias, formas de casco con su disposición de tanques, retículas de edificios con sus pórticos. El código que construye una tarea también calcula su respuesta, así que el volumen nunca cuesta corrección.

  • Verdad de referencia calculada, nunca tecleada
  • Cada semilla registrada en la ficha técnica y reproducible
Generado. Nueve piezas de nuestros generadores, construidas elemento a elemento.

Motor dos

Semillas de expertos

En las tareas por encargo, un profesional aporta el trabajo y da el visto bueno al resultado. Los modelos ayudan con la redacción, de modo que las horas de los expertos se dedican a lo que solo un experto puede aportar.

  1. SemillaUn profesional describe un trabajo real en seis campos: situación, entradas, objetivo, restricciones, cómo verificarlo y salida esperada.
  2. BorradorA partir de la semilla construimos la instrucción, los archivos del proyecto, el verificador y la solución de referencia, con modelos que ayudan en la redacción.
  3. ResoluciónUn modelo resolutor de otra familia lo intenta a ciegas, varias veces, sin acceso al verificador ni a la referencia. Si aprueba con demasiada facilidad, leemos el registro del resolutor y reforzamos la tarea.
  4. ValidaciónEl profesional contrasta la referencia y el verificador con su propio criterio, y hace la tarea más difícil donde el trabajo real es más difícil.
  5. RevisiónUn segundo profesional califica a ciegas una muestra. Indicamos el grado de acuerdo en la ficha de calibración, y cada desacuerdo pasa a arbitraje.

Entrega

En el formato que su harness ya ejecuta.

Las tareas llegan listas para ejecutarse, documentadas elemento por elemento y particionadas para que la evaluación se mantenga limpia.

Formato
Carpetas de tareas compatibles con Harbor, imágenes de contenedor o la interfaz que admita su harness. Primero se ejecuta una tarea en su harness y después llega el lote.
Ficha técnica
Por elemento: fuente (generada, con licencia o redactada), generador y semilla, o el ID seudónimo del autor, revisiones, desidentificación y resultados de calibración.
Nota de derechos
Por elemento: quién es el propietario, la licencia para entrenamiento y evaluación, y la cesión o el acuerdo en que se basa.
Particiones
La partición acordada y el uso permitido se registran con cada tarea. Política de evaluación y licencias.
Mantenimiento
A medida que los modelos mejoran, los verificadores se refuerzan y las tareas saturadas se sustituyen por otras más difíciles de la misma familia.

Empezar

Lea una tarea antes de decidir.

Inspeccione una tarea completa antes de hablar de una integración.

Solicitar paquete de muestra Abrir la tarea de muestra CAD