什么是环境
一次运行所需的一切,都在一个文件夹里。
每个任务是一个文件夹,采用与 Harbor 兼容的结构。智能体能看到任务说明和项目文件,验证器和参考解法则在其访问范围之外。
- 任务说明
instruction.md - 以同事或客户的口吻发出的工作请求,写明确切的交付物及其保存路径。
- 初始状态
environment/project/ - 工作开始时的种子数据:图纸及其修订版、3D 模型、表格、邮件、数据库行。
- 工具
environment/Dockerfile - 一个包含工作所需工具的容器:CAD 内核、静水力和计算库、文档与电子表格工具。
- 验证器
tests/test.sh - 读取交付物和最终状态、运行每个检查项并写入奖励的程序,每个检查项一行。
- 探针
tests/probes/ - 任务发布前,验证器必须按预期评分的奖励作弊、看似合理的错误和正确的替代解法。
- 参考解法
solution/solve.sh - 一个得分为 1 的解法,证明任务按其表述是可解的。
- 元数据与权利
task.toml - 领域、类别、难度区间、时间限制、资源、数据划分、来源和许可。
task.toml 示意
version = "0.3" [metadata] id = "naval/tank-capacity-014" domain = "ship design" family = "tank-capacity" # generated, seed 1408 difficulty = "hard" # pass@1 0.12 at calibration split = "train" # train | sealed-eval [rights] source = "generated" # generated | licensed | authored use = "training and evaluation" [agent] timeout_sec = 2700 [environment] network = "none" cpus = 2 memory_mb = 4096 [verifier] timeout_sec = 300 reward = "strict" # 1 only if every check passes weights = [1, 3, 3, 2, 1, 2, 3, 1] # C1 to C8 tolerance = { volume_m3 = 0.5, lcg_m = 0.02, trim_m = 0.01 }
/logs/verifier/reward.json 示意
{
"reward": 0,
"score": 0.94,
"C1_deliverable_parses": 1,
"C2_inputs_unchanged": 1,
"C3_tank_volumes_98pct": 1,
"C4_tank_lcg_vcg": 1,
"C5_sounding_tables": 0,
"C6_trim_departure": 1,
"C7_tank_bounds_rev_c": 1,
"C8_tolerances_cited": 1
}
只要有一个检查项未通过,奖励即为 0。加权得分显示答案的其余部分是可靠的,也显示了出错之处:C5 发现 5P 舱的测深读数是以修订版 B 中的测深管基准为准的。修订版 C 移动了测深管,因此该舱的每个测深值都参照了错误的基准点。
验证器原则
评分看状态,而不是文字描述。
奖励的质量取决于计算它的验证器。可计算的内容由代码检查;需要专家判断的地方,由经校准的模型评审和定制的评分细则验证器评分,且每一种都与专家评分进行过对照检验。
对状态评分
验证器打开智能体留下的文件、几何、数据行和消息,并重新计算它们应有的结果。智能体对自身工作的总结不得分。
确定性,故障即判失败
同一交付物,每次运行得到同一奖励。缺失、格式错误或无法读取的交付物得零分并说明原因,绝不会崩溃,也绝不会判为通过。
严格通过即奖励
只有全部检查项通过时,奖励才为 1。旁边另附按检查项加权的得分,让您看出答案错在哪里,而不会奖励“差一点”的答案。
过程与结果
结果检查项读取交付物。过程检查项读取交付物是如何得出的:输入未被改动、使用了当前修订版,以及所应用的条款和数值均已注明出处。
考虑公差
每个量都带有其图纸或规范规定的工程公差。以其他单位、其他顺序或其他布局给出的正确答案同样通过。
隔离且可重置
无网络访问,输入只读,测试仅在运行结束后挂载。重置会让工作区回到同一状态,并通过摘要值校验。
冻结且有版本
每个验证器都按哈希值随其任务版本冻结。修复即发布新版本并添加变更日志条目,且所有探针重新运行。
防范奖励作弊
每个验证器在发布前都会经受攻击。
任务交付之前,我们会针对其验证器运行一组探针。
| 探针类别 | 作用 | 应得结果 |
|---|---|---|
| 空 | 让工作区保持重置后的原样。 | 0 |
| 仅声称完成 | 报告工作已完成,但没有任何改动。 | 0 |
| 篡改 | 修改输入、受保护的表、测试或奖励文件。 | 0 |
| 硬编码答案 | 按预期格式写入猜测或复制的数值。 | 0 |
| 已作废的输入 | 依据旧的图纸修订版或第一封邮件工作,而不是修订后的内容。 | 严格未通过 |
| 看似合理的错误 | 整体形状或总数正确,但带公差的特征或明细项错误。 | 严格未通过 |
| 正确的替代解法 | 用另一种方法、其他单位或其他布局得出的正确答案。 | 严格通过 |
6 个演示任务,同一个评测框架。
门槛检查运行于 2026年11月10日;模型尝试于2026年11月7日或之前进行。这 6 个都是我们内部编写的演示任务,使用虚构的名称和数据,并非合作伙伴的记录。探针是回归测试,不是保证。
以上为企业工作流评测框架的结果。CAD 示例运行单独报告。
- 检查项
- 6 个任务共 59 项,其中 26 项为关键项;参考解法在每个任务上均得 1.0 分
- 奖励作弊探针
- 73 个,每个都得零分;101 个恶意输入,全部得零分且未引发验证器错误
- 看似合理的错误
- 71 个,每个都未通过严格奖励
- 正确的替代解法
- 8 个,全部严格通过
- 已知不足
- 3 个探针按设计会通过;已在证据页面中记录
- 模型尝试
- 同一提供商的两个当前模型(包括其小型版本),每个模型每个版本运行一次。在我们澄清了两个 0 版任务的措辞后,两个模型都通过了所有任务。接下来将运行加固后的版本(见下文)。这些运行表明评测框架可以正常工作,但不能说明任务有多难
- 未解决问题
- 验证器目前还无法发现的问题,见证据页面
无论通过与否,都会注明日期发布。
轨迹审计
探针测试的是验证器,审计测试的是通过结果。对于校准中抽样的运行,我们会阅读每次通过是如何取得的,而不仅仅确认它通过了。
出现以下情况时,通过结果作废:
- 打开了参考解法、测试或项目以外的任何内容
- 修改了输入、受保护的表或验证器
- 尝试访问网络,或写入了从未计算过的答案
- 采用了任务说明所排除的方法
以错误方式取得的通过会变成新的探针,验证器会在该批次交付前得到加固。
难度与校准
难到足以教会模型,按设计可解。
每个模型都能通过的任务教不了任何东西;没有模型能通过的任务可能本身有问题。我们在每个任务发布前都会进行测量,只保留落在您设定区间内的任务。
- 多次尝试
- 从小型开源模型到现有最强的模型,每个模型对每个任务尝试多次。通过率是多次尝试的平均值,绝不是单次运行的结果。
- pass@1 与 pass@k
- pass@1 决定任务落在哪个区间;pass@k 表明任务可以完成。落在区间之外的任务会被加固、重新调整或舍弃。
- 零分是一个警示
- 在保留一个没有模型能通过的任务之前,我们会重新检查其任务说明、参考解法和验证器。
- 调参数,而非改措辞
- 生成的任务类别通过以下参数调节。难度绝不来自含糊的任务说明或隐藏的陷阱。
各领域的难度参数
- 零件
- 特征数量、公差等级、需要相互对照的视图
- 船舶
- 液舱和装载工况,文件夹中已作废的修订版
- 建筑
- 需要交叉阅读的图纸和专业,碰撞密度
- 工作流
- 任务跨度长度、修订、干扰性的对话线程
校准卡,每批次一张 示意
- 批次
- naval/tank-capacity v0.3
- 保留的任务
- 起草 46 个,保留 40 个
- 尝试次数
- 每个模型每个任务 3 次
- 小型模型
- pass@1 0.05
- 大型模型
- pass@1 0.21 · pass@3 0.34
- 保留区间
- pass@1 介于 0.02 与 0.30 之间
- 奖励作弊
- 14/14 得零分
- 预设错误
- 12/12 严格未通过
- 替代解法
- 4/4 严格通过
- 专家一致性
- 10 个任务中 9 个一致,盲评
- 每次尝试用时
- 中位数 38 分钟
这是校准卡的样式,并非实测结果。每个批次都附有自己的校准卡。
两种规模化引擎
数量来自生成器,深度来自从业专家。
一个批次的大部分任务可以生成,并同时计算出标准答案。最难的任务则始于真正做过这项工作的人。
引擎一
参数化生成器
生成器根据参数构建一类任务:带特征和公差的零件、带液舱布置的船体型线、带框架的建筑轴网。构建任务的代码同时计算出答案,因此数量的增加从不以牺牲正确性为代价。
- 标准答案由计算得出,绝非手工输入
- 每个种子都记录在数据说明表中,可复现
引擎二
专家种子
对于委托开发的任务,由从业专家提供工作内容并签字确认结果。模型协助起草,让专家的时间用在只有专家才能发挥作用的地方。
- 种子从业专家用 6 个字段描述一项真实工作:情境、输入、目标、约束、验证方式、预期输出。
- 起草我们根据种子构建任务说明、项目文件、验证器和参考解法,由模型协助起草。
- 求解来自另一模型家族的求解模型在无法访问验证器和参考解法的情况下盲做多次。如果它通过得太容易,我们会阅读求解模型的日志并加固任务。
- 验证从业专家依据自己的判断检查参考解法和验证器,并在真实工作更难的地方提高任务难度。
- 评审另一位从业专家对抽样任务进行盲评。我们在校准卡上报告一致性,每处分歧都提交裁定。
交付
以您的评测框架已在运行的形式交付。
任务交付即可运行,逐项附有文档,并做好数据划分,确保评测不受污染。
- 格式
- 与 Harbor 兼容的任务文件夹、容器镜像,或您的评测框架所接受的接口。先在您的评测框架中运行一个任务,再交付整个批次。
- 数据说明表
- 每一项:来源(生成、授权或编写)、生成器和种子或作者的化名 ID、修订记录、去标识化情况,以及校准结果。
- 权利说明
- 每一项:归属方、用于训练和评测的许可,以及其所依据的转让或协议。
- 数据划分
- 约定的数据划分和允许用途随每个任务一并记录。评测与授权政策。
- 维护
- 随着模型能力提升,验证器会不断加固,已饱和的任务会被同一类别中更难的任务替换。
开始使用
先读一个任务,再做决定。
在讨论集成之前,先查看一个完整的任务。