什麼是環境
執行所需的一切,都在一個資料夾裡。
每個任務是一個採用 Harbor 相容結構的資料夾。AI 代理看得到指示與專案;驗證器與參考解法則在其觸及範圍之外。
- 指示
instruction.md - 工作需求,以同事或客戶實際會寄出的方式撰寫,並載明確切的交付項目與儲存路徑。
- 起始狀態
environment/project/ - 工作起始的種子資料:圖面及其修訂版本、3D 模型、資料表、郵件、資料庫資料列。
- 工具
environment/Dockerfile - 一個具備工作所需內容的容器:CAD 核心、靜水力與計算函式庫、文件與試算表工具。
- 驗證器
tests/test.sh - 讀取交付項目與最終狀態、執行每個檢查項目並寫入獎勵的程式,每個檢查項目一行。
- 探針
tests/probes/ - 獎勵作弊、看似合理的錯誤與正確的替代解法;在任務出貨前,驗證器必須對它們給出預期的評分。
- 參考解法
solution/solve.sh - 一個得分為 1 的解法,證明任務依其撰寫內容可以被解出。
- 詮釋資料與權利
task.toml - 領域、類別、難度區間、時間限制、資源、資料切分、來源與授權。
task.toml 示意
version = "0.3" [metadata] id = "naval/tank-capacity-014" domain = "ship design" family = "tank-capacity" # generated, seed 1408 difficulty = "hard" # pass@1 0.12 at calibration split = "train" # train | sealed-eval [rights] source = "generated" # generated | licensed | authored use = "training and evaluation" [agent] timeout_sec = 2700 [environment] network = "none" cpus = 2 memory_mb = 4096 [verifier] timeout_sec = 300 reward = "strict" # 1 only if every check passes weights = [1, 3, 3, 2, 1, 2, 3, 1] # C1 to C8 tolerance = { volume_m3 = 0.5, lcg_m = 0.02, trim_m = 0.01 }
/logs/verifier/reward.json 示意
{
"reward": 0,
"score": 0.94,
"C1_deliverable_parses": 1,
"C2_inputs_unchanged": 1,
"C3_tank_volumes_98pct": 1,
"C4_tank_lcg_vcg": 1,
"C5_sounding_tables": 0,
"C6_trim_departure": 1,
"C7_tank_bounds_rev_c": 1,
"C8_tolerances_cited": 1
}
只要一個檢查項目未通過,獎勵就設為 0。加權分數顯示答案的其餘部分是正確的,也指出錯在哪裡:C5 抓到 5P 艙櫃的測深值是依修訂版 B 的測深管基準讀取。修訂版 C 移動了測深管,因此該艙櫃的每個測深值都參照了錯誤的基準點。
驗證器原則
評分的是狀態,而不是文字敘述。
獎勵的好壞,取決於計算它的驗證器。可計算的部分由程式碼檢查;需要專家判斷之處,則由經校準的模型評審與客製的評分準則驗證器評分,且每一個都會與專家評分進行比對檢查。
評分狀態
驗證器會開啟 AI 代理留下的檔案、幾何、資料列與訊息,並重新計算它們應有的內容。AI 代理對自身工作的摘要不會得到任何分數。
確定性、預設失敗(fail-closed)
相同的交付項目,每次執行都得到相同的獎勵。缺少、格式錯誤或無法讀取的交付項目,會得到零分並附上說明的原因,絕不會當機,也絕不會通過。
嚴格通過即為獎勵
只有在每個檢查項目都通過時,獎勵才是 1。旁邊附有逐項加權分數,讓您能看出答案錯在哪裡,而不會獎勵差一點就對的答案。
過程與結果
結果檢查讀取交付項目。過程檢查讀取達成結果的方式:輸入未被更動、使用的是目前的修訂版本,以及所套用的條文與數值皆有引用。
考量公差
每個數量都帶有其圖面或規範的工程公差。以其他單位、其他順序或其他配置呈現的正確答案,仍然會通過。
隔離且可重設
無網路、輸入唯讀,且測試只在執行結束後才掛載。重設會讓工作區回到相同狀態,並以摘要值(digest)檢查。
凍結且具版本
每個驗證器都以雜湊值與其任務版本一同凍結。修正即是一個新版本,附有變更紀錄條目,且每個探針都會重新執行。
獎勵作弊防禦
每個驗證器在出貨前都會先受到攻擊測試。
在任務離開我們之前,我們會針對其驗證器執行一組探針。
| 探針類別 | 作用 | 必須評為 |
|---|---|---|
| 空白 | 讓工作區維持重設時的原樣。 | 0 |
| 僅宣稱完成 | 回報工作已完成,但什麼都沒有改變。 | 0 |
| 竄改 | 編輯輸入、受保護的資料表、測試或獎勵檔案。 | 0 |
| 寫死的答案 | 以猜測或複製的數值寫出預期格式。 | 0 |
| 已被取代的輸入 | 依據舊的圖面修訂版本或第一封電子郵件作業,而非變更後的內容。 | 嚴格未通過 |
| 看似合理的錯誤 | 整體形狀或總數正確,但帶公差的特徵或明細項目錯誤。 | 嚴格未通過 |
| 正確的替代解法 | 以其他方法、其他單位或其他配置得出的正確答案。 | 嚴格通過 |
6 個示範任務,一個評測框架。
門檻檢查執行於 2026年11月10日;模型嘗試於 2026年11月7日或之前進行。全部 6 個皆為我們內部撰寫的示範任務,使用虛構的名稱與數據,並非合作夥伴的紀錄。這些探針是回歸測試,而非保證。
企業工作流程評測框架的結果。CAD 樣本執行另行報告。
- 檢查項目
- 6 個任務共 59 個,其中 26 個為關鍵;參考解法在每個任務上皆得分 1.0
- 獎勵作弊探針
- 73 個,每一個都得零分;101 個惡意輸入,全部得零分,且未發生驗證器錯誤
- 看似合理的錯誤
- 71 個,每一個都未通過嚴格獎勵
- 正確的替代解法
- 8 個,全部嚴格通過
- 已知不足
- 3 個探針依設計會通過;記載於證據頁面
- 模型嘗試
- 來自同一供應商的兩個現行模型,包括其小型級別,每個模型每個版本執行一次 rollout。在我們釐清兩個版本 0 任務的措辭之後,兩個模型都通過了所有任務。強化後的版本接著執行(見下方)。這些執行顯示評測框架可以運作,而非任務的難度
- 未解決問題
- 驗證器目前尚未能抓出的問題,列於證據頁面
連同日期一併公布,無論通過或未通過。
軌跡稽核
探針測試的是驗證器,稽核測試的是通過結果。在校準過程的抽樣執行中,我們會檢視每一次通過是如何取得的,而不僅是確認它通過了。
若該次執行有下列情形,該次通過即予剔除:
- 開啟了參考解法、測試或專案以外的任何內容
- 更動了輸入、受保護的資料表或驗證器
- 試圖連上網路,或寫出了一個從未計算過的答案
- 採用了指示所排除的做法
以錯誤方式取得的通過會成為新的探針,並在該批次出貨前強化驗證器。
難度與校準
難到足以教學,依設計可以解出。
每個模型都能通過的任務,教不了任何東西;沒有任何模型能通過的任務,可能本身有問題。我們在每個任務出貨前進行量測,只保留落在您設定區間內的任務。
- 重複嘗試
- 從小型開放模型到目前最強的模型,每個模型都會對每個任務嘗試數次。通過率是多次嘗試的平均值,絕非單次執行。
- pass@1 與 pass@k
- pass@1 決定任務落在哪個區間;pass@k 顯示任務是可達成的。落在區間之外的任務,會被強化、重新平衡或捨棄。
- 零是一個警訊
- 在保留一個沒有任何模型能通過的任務之前,我們會重新檢查其指示、參考解法與驗證器。
- 調整參數,而非措辭
- 生成的任務類別以下方的參數進行調校。難度絕不來自模糊的指示或隱藏的陷阱。
各領域的難度參數
- 零件
- 特徵數量、公差等級、需要相互核對的視圖
- 船舶
- 艙櫃與裝載狀態、資料夾中已被取代的修訂版本
- 建築
- 需要交叉判讀的圖紙與專業、碰撞密度
- 工作流程
- 任務步驟長度、變更次數、干擾性討論串
校準卡,每批次一張 示意
- 批次
- naval/tank-capacity v0.3
- 保留的任務
- 已起草 46 個,保留 40 個
- 嘗試次數
- 每個模型每個任務 3 次
- 小型模型
- pass@1 0.05
- 大型模型
- pass@1 0.21・pass@3 0.34
- 保留區間
- pass@1 介於 0.02 與 0.30 之間
- 獎勵作弊
- 14 個中 14 個為零分
- 植入的錯誤
- 12 個中 12 個嚴格未通過
- 替代解法
- 4 個中 4 個嚴格通過
- 專家一致性
- 10 個任務中 9 個一致,盲評
- 每次嘗試時間
- 中位數 38 分鐘
這是校準卡的格式,並非實際量測結果。每個批次都附有各自的校準卡。
兩種擴大規模的引擎
數量來自生成器,深度來自業界專家。
一個批次的大部分內容都可以生成,並同時計算出其標準答案。最難的任務,則從實際做過這項工作的人開始。
引擎一
參數化生成器
生成器依參數建立一整個類別的任務:帶有特徵與公差的零件、帶有艙櫃配置的船體型線、帶有構架的建築格線。建立任務的程式碼同時計算其答案,因此數量的增加永遠不會犧牲正確性。
- 標準答案以計算得出,絕非手動輸入
- 每個種子都記錄在資料說明書上,且可重現
引擎二
專家種子
對於委託製作的任務,由業界專家提供工作內容並簽核結果。模型協助起草,讓專家的時間用在只有專家才能幫上忙的地方。
- 種子業界專家以 6 個欄位描述一項真實工作:情境、輸入、目標、限制條件、如何驗證、預期輸出。
- 起草我們以種子為基礎,建立指示、專案檔案、驗證器與參考解法,並由模型協助起草。
- 求解來自另一個模型家族的求解模型會在盲測下嘗試數次,且無法存取驗證器或參考解法。若太容易通過,我們會檢視求解模型的日誌並強化任務。
- 驗證業界專家依自己的判斷檢查參考解法與驗證器,並在真實工作較難之處提高任務難度。
- 審查第二位業界專家對樣本進行盲評。我們在校準卡上報告一致性,每一項分歧都會交付裁決。
交付
以您的評測框架已經在執行的形式交付。
任務交付時即可執行,逐項附有文件,並經過資料切分,確保評測維持乾淨。
- 格式
- Harbor 相容的任務資料夾、容器映像檔,或您的評測框架所採用的介面。先在您的評測框架中執行一個任務,之後再交付整個批次。
- 資料說明書
- 逐項記錄:來源(生成、授權或撰寫)、生成器與種子,或作者的化名 ID、修訂版本、去識別化,以及校準結果。
- 權利說明
- 逐項記錄:擁有者、用於訓練與評測的授權,以及其所依據的讓與或協議。
- 資料切分
- 約定的資料切分與允許用途,會隨每個任務一併記錄。評測與授權政策。
- 維護
- 隨著模型進步,驗證器會被強化,已飽和的任務會被同一類別中更難的任務取代。
開始使用
在做決定之前,先讀一個任務。
在討論整合之前,先查看一個完整的任務。