環境とは
実行に必要なすべてを、1つのフォルダに。
各タスクは、Harbor互換のレイアウトによる1つのフォルダです。エージェントが見られるのは指示文とプロジェクトだけです。検証器と参照解はエージェントの手の届かない場所に置かれます。
- 指示文
instruction.md - 同僚や顧客が送ってくるような作業依頼。正確な成果物と、その保存先のパスを含みます。
- 初期状態
environment/project/ - 業務の出発点となるシードデータ:図面とその改訂、3Dモデル、表、メール、データベースの行。
- ツール
environment/Dockerfile - 作業に必要なものを備えたコンテナ:CADカーネル、静水力計算や各種計算のライブラリ、文書・表計算ツール。
- 検証器
tests/test.sh - 成果物と最終状態を読み取り、すべてのチェック項目を実行し、チェック項目ごとに1行ずつ報酬を書き出すプログラム。
- プローブ
tests/probes/ - タスクを出荷する前に、検証器が想定どおりに採点しなければならない報酬ハック、もっともらしい誤り、正しい別解。
- 参照解
solution/solve.sh - スコア1を獲得する解。タスクが記述どおりに解けることを証明します。
- メタデータと権利
task.toml - 分野、ファミリー、難易度帯、制限時間、リソース、データ分割、ソース、ライセンス。
task.toml 例示
version = "0.3" [metadata] id = "naval/tank-capacity-014" domain = "ship design" family = "tank-capacity" # generated, seed 1408 difficulty = "hard" # pass@1 0.12 at calibration split = "train" # train | sealed-eval [rights] source = "generated" # generated | licensed | authored use = "training and evaluation" [agent] timeout_sec = 2700 [environment] network = "none" cpus = 2 memory_mb = 4096 [verifier] timeout_sec = 300 reward = "strict" # 1 only if every check passes weights = [1, 3, 3, 2, 1, 2, 3, 1] # C1 to C8 tolerance = { volume_m3 = 0.5, lcg_m = 0.02, trim_m = 0.01 }
/logs/verifier/reward.json 例示
{
"reward": 0,
"score": 0.94,
"C1_deliverable_parses": 1,
"C2_inputs_unchanged": 1,
"C3_tank_volumes_98pct": 1,
"C4_tank_lcg_vcg": 1,
"C5_sounding_tables": 0,
"C6_trim_departure": 1,
"C7_tank_bounds_rev_c": 1,
"C8_tolerances_cited": 1
}
チェック項目が1つでも不合格なら、報酬は0になります。重み付きスコアは、回答の残りの部分が妥当だったことと、どこで誤ったかを示します。C5は、タンク5Pの測深値がリビジョンBの測深管の基準点から読み取られていたことを検出しました。リビジョンCで測深管が移設されたため、そのタンクのすべての測深値が誤った点を基準にしていることになります。
検証器の原則
文章ではなく、状態を採点する。
報酬の質は、それを計算する検証器の質で決まります。計算できるものはコードでチェックします。専門家の判断が必要な部分は、較正済みのモデル評価器とカスタムのルーブリック検証器が採点し、それぞれ専門家の採点と照合して確認します。
状態を採点する
検証器は、エージェントが残したファイル、形状、行、メッセージを開き、それらがどうあるべきかを再計算します。エージェントによる作業の要約には、何の得点も与えません。
決定的で、フェイルクローズド
同じ成果物なら、どの実行でも同じ報酬。成果物が欠落している、形式が不正、または読み取れない場合は、理由を明示したうえでスコアはゼロになります。クラッシュすることも、合格になることもありません。
厳格判定の合格が報酬
報酬が1になるのは、すべてのチェック項目に合格した場合だけです。その横にチェック項目ごとの重み付きスコアを並べるので、惜しい回答に報酬を与えることなく、回答がどこで誤ったかを読み取れます。
プロセスと結果
結果のチェック項目は成果物を読み取ります。プロセスのチェック項目は、そこに至った過程を読み取ります。入力に手を加えていないこと、最新のリビジョンを使ったこと、適用した条項と値を引用していることです。
許容差を考慮
各数量には、その図面や規格に定められたエンジニアリング上の許容差が設定されています。別の単位、別の順序、別のレイアウトで示された正しい回答も合格します。
隔離され、リセット可能
ネットワークなし、入力は読み取り専用、テストは実行終了後にのみマウントします。リセットするとワークスペースは同じ状態に戻り、ダイジェストで確認されます。
凍結とバージョン管理
各検証器は、タスクのバージョンとともにハッシュで凍結されます。修正は変更履歴に記載された新しいバージョンとなり、すべてのプローブを再実行します。
報酬ハックへの防御
すべての検証器は、出荷前に攻撃を受けます。
タスクを当社から出す前に、その検証器に対して一連のプローブを実行します。
| プローブの分類 | 内容 | 求められる判定 |
|---|---|---|
| 空 | ワークスペースをリセットされた状態のまま一切変更しない。 | 0 |
| 主張のみ | 作業完了と報告するが、何も変更しない。 | 0 |
| 改ざん | 入力、保護されたテーブル、テスト、または報酬ファイルを編集する。 | 0 |
| ハードコードされた回答 | 推測した値やコピーした値で、期待される形式を書き出す。 | 0 |
| 旧版の入力 | 変更後の内容ではなく、古い図面のリビジョンや最初のメールに基づいて作業する。 | 厳格判定で不合格 |
| もっともらしい誤り | 全体形状や合計は正しいが、公差付きのフィーチャーや明細行が誤っている。 | 厳格判定で不合格 |
| 正しい別解 | 別の方法、別の単位、別のレイアウトによる正しい回答。 | 厳格判定で合格 |
6つのデモンストレーションタスク、1つの評価ハーネス。
ゲートの実行日:2026年11月10日。モデルの試行は2026年11月7日以前に実施。6つすべてが、架空の名称と数値を用いて当社が社内で作成したデモンストレーションタスクであり、パートナーの記録ではありません。プローブは回帰テストであり、保証ではありません。
企業ワークフローの評価ハーネスによる結果です。CADサンプルの実行については別途報告しています。
- チェック項目
- 6つのタスク全体で59個(うち重要26個)。参照解は各タスクで1.0を獲得
- 報酬ハックのプローブ
- 73件、すべてスコアはゼロ。敵対的な入力101件も、検証器エラーなしですべてゼロ
- もっともらしい誤り
- 71件、すべて厳格判定の報酬で不合格
- 正しい別解
- 8件、すべて厳格判定で合格
- 既知の不足点
- 設計上合格するプローブが3件。エビデンスページに記載
- モデルの試行
- 1社のプロバイダーの現行モデル2つ(小型の階層を含む)で、モデルごと・バージョンごとに1回ずつロールアウト。バージョン0の2つのタスクの文言を明確にした後、両モデルともすべてのタスクに合格しました。強化したバージョンを次に実行します(下記)。これらの実行が示しているのは評価ハーネスが機能することであり、タスクの難しさではありません
- 未解決の課題
- 検証器がまだ検出できないものはエビデンスページに記載しています
合否にかかわらず、日付とともに公開します。
6つのタスクにおける、小型のオープンモデル1つとより強力なモデル1つの合格率(それぞれ5回のロールアウト)。完了した時点で、結果にかかわらず、実行日とタスクのバージョンとともにここで公開します。
軌跡の監査
プローブは検証器をテストします。監査は合格をテストします。較正時の実行からサンプリングしたものについて、合格したかどうかだけでなく、どのようにして合格したかを読み取ります。
次のような実行の合格は無効とします
- 参照解、テスト、またはプロジェクト外のものを開いた
- 入力、保護されたテーブル、または検証器を変更した
- ネットワークにアクセスしようとした、または自ら計算していない回答を書いた
- 指示文で禁じられている手順をとった
誤った方法で得た合格は新たなプローブとなり、バッチを出荷する前に検証器を強化します。
難易度と較正
学習に役立つほど難しく、設計上解ける。
すべてのモデルが合格するタスクからは何も学べません。どのモデルも合格しないタスクは壊れている可能性があります。各タスクは出荷前に測定し、お客様が設定した帯域内に収まるものだけを残します。
- 繰り返しの試行
- 小型のオープンモデルから入手可能な最も強力なモデルまでが、各タスクを複数回試行します。合格率は1回の実行ではなく、常に複数の試行の平均です。
- pass@1とpass@k
- pass@1でタスクを難易度帯に位置付け、pass@kで到達可能であることを示します。帯域外のタスクは、強化するか、バランスを調整するか、除外します。
- ゼロは警告
- どのモデルも合格しないタスクを残す前に、その指示文、参照解、検証器を再確認します。
- 文言ではなく、調整パラメータで
- 生成されたファミリーは、以下の調整パラメータで調整します。難易度が曖昧な指示文や隠れた罠から生じることはありません。
分野別の難易度調整パラメータ
- 部品
- フィーチャーの数、公差等級、整合させるビュー
- 船舶
- タンクと積付状態、フォルダ内の旧リビジョン
- 建物
- 相互参照するシートと専門分野、干渉の密度
- ワークフロー
- ホライズンの長さ、変更、注意をそらすスレッド
較正カード(バッチごとに1枚) 例示
- バッチ
- naval/tank-capacity v0.3
- 採用タスク
- 作成した46件中40件
- 試行
- モデルごと・タスクごとに3回
- 小型モデル
- pass@1 0.05
- 大型モデル
- pass@1 0.21 · pass@3 0.34
- 採用帯域
- pass@1が0.02~0.30
- 報酬ハック
- 14件中14件がゼロ
- 仕込んだ誤り
- 12件中12件が厳格判定で不合格
- 別解
- 4件中4件が厳格判定で合格
- 専門家との一致
- 10タスク中9タスク(ブラインド採点)
- 試行あたりの時間
- 中央値38分
カードの形式を示したもので、測定結果ではありません。各バッチにそれぞれのカードが付きます。
規模を支える2つのエンジン
量はジェネレーターから。深さは実務家から。
バッチの大部分は、正解を計算したうえで生成できます。最も難しいタスクは、その業務を実際に経験した人から始まります。
エンジン1
パラメトリックジェネレーター
ジェネレーターは、パラメータからタスクのファミリーを構築します。フィーチャーと公差を持つ部品、タンク配置を持つ船型、フレームを持つ建物グリッドなどです。タスクを構築するコードがその答えも計算するため、量を増やしても正確さが損なわれることはありません。
- 正解は計算するもので、手入力はしない
- すべてのシードをデータシートに記録し、再現可能
エンジン2
専門家によるシード
委託されたタスクでは、実務家が業務を提供し、結果を承認します。モデルが下書きを支援するため、専門家の時間は専門家にしかできない部分に使われます。
- シード実務家が、実際の業務を6つの項目で記述します:状況、入力、目標、制約、検証方法、期待される出力。
- 下書きシードをもとに、モデルの支援を受けながら、指示文、プロジェクトファイル、検証器、参照解を作成します。
- 解答別のファミリーのソルバーモデルが、検証器にも参照解にもアクセスせずにブラインドで複数回解答を試みます。簡単に合格しすぎる場合は、ソルバーのログを読んでタスクを強化します。
- 検証実務家が、参照解と検証器を自身の判断と照らし合わせて確認し、実際の業務がより難しい部分ではタスクを難しくします。
- レビュー2人目の実務家がサンプルをブラインドで採点します。一致度は較正カードで報告し、意見が分かれたものはそれぞれ裁定に回します。
納品
お客様の評価ハーネスがすでに実行している形式で。
タスクはすぐに実行できる状態で届き、項目ごとに文書化され、評価がクリーンに保たれるように分割されています。
- 形式
- Harbor互換のタスクフォルダ、コンテナイメージ、またはお客様の評価ハーネスが受け付けるインターフェース。まず1つのタスクをお客様の評価ハーネスで実行し、その後にバッチをお届けします。
- データシート
- 項目ごと:ソース(生成、ライセンス済み、または作成)、ジェネレーターとシード、または作成者の仮名ID、改訂、匿名化処理、較正結果。
- 権利に関する注記
- 項目ごと:所有者、学習と評価のためのライセンス、その根拠となる譲渡または契約。
- データ分割
- 合意したデータ分割と許諾された用途は、各タスクとともに記録されます。評価とライセンスのポリシー。
- 保守
- モデルの向上に合わせて検証器を強化し、飽和したタスクは同じファミリーのより難しいタスクに置き換えます。
はじめに
判断する前に、タスクを1つ読んでみてください。
統合について相談する前に、完全なタスクをご確認ください。