엔지니어링 & CAD / 샘플 태스크
생성된 공개 샘플
도면을 보고 브래킷을 모델링하십시오.
도면에서 모델까지의 완전한 태스크입니다. 모든 파일은 하나의 매개변수 세트로 생성되었으며, 어떤 기업의 실제 부품도 아닙니다.
- 분야
- 기계 부품
- 태스크 유형
- 도면에서 솔리드 모델로
- 접근 방식
- 파일, 헤드리스 CAD 커널
- 납품물
- STEP 솔리드 1개
- 검증기
- 결정론적 형상 검증: 게이트 3개, 검사 항목 10개
- 시간 제한
- 45분
- 데이터 분할
- 공개 샘플, 학습 세트나 평가 세트에는 절대 포함되지 않음
참조 도면
DUF-S-001, rev A.
3각법으로 그린 3개의 뷰로, 정답 모델과 같은 매개변수로 생성되었으므로 도면과 정답이 서로 어긋날 수 없습니다. 호박색은 검증기가 측정하는, 공차가 지정된 보어를 표시합니다.
실행 결과 보기
제출물을 비교하십시오.
기록된 검증기 결과입니다. 노란색은 실패한 검사 항목을 표시합니다. 보고서를 펼치면 모든 측정값을 볼 수 있습니다.
제출물
output/bracket.step ← tests/gold/bracket.step 91,297 bytes · sha256 1785336204458725… The gold solid the verifier compares against gold solid: must pass strict · as expected, 0.87 s
output/bracket.step ← written by solution/solve.py (85,015 bytes, built in 0.61 s) solution/solve.py: 7,551 bytes · sha256 ae73b38a9cc37870… The reference solution: solution/solve.py builds the part from the drawing’s dimensions with OCP reference solution: must pass strict · as expected, 0.91 s
output/bracket.step ← tests/probes/alt_rebuilt.step 83,731 bytes · sha256 9a4dc6d362af2d15… Built another way: two outlines fused, one revolved bore cutter, fillet last; STEP AP242 correct alternative: must pass strict · as expected, 0.88 s
output/bracket.step ← tests/probes/alt_bore_18009.step 91,386 bytes · sha256 00e293e59fc76bb1… The bore at Ø18.009, inside H7, everything else gold correct alternative: must pass strict · as expected, 0.82 s
output/bracket.step ← tests/probes/alt_split_faces.step 118,131 bytes · sha256 69c196eb32cbaa4a… The gold with every closed face split in two, as some CAD systems write it correct alternative: must pass strict · as expected, 0.87 s
output/bracket.step ← tests/probes/empty.step 0 bytes · sha256 e3b0c44298fc1c14… An empty bracket.step reward hack: must score exactly 0 · as expected, 0.68 s
output/bracket.step ← a note, and no output/bracket.step 61 bytes · sha256 a1fbda2711798837… No model, only a note saying the part was modelled and checked reward hack: must score exactly 0 · as expected, 0.68 s
output/bracket.step ← tests/probes/scaled_copy.step 96,498 bytes · sha256 7a19df708266b18d… The gold solid scaled by 1.02 plausible mistake: must fail strict, caught by C1 to C8 · as expected, 0.91 s
output/bracket.step ← tests/probes/bore_oversize.step 91,317 bytes · sha256 201c90aa78c85c88… The bore 0.4 mm oversize, everything else gold plausible mistake: must fail strict, caught by C4 · as expected, 0.82 s
output/bracket.step ← tests/probes/three_holes.step 86,917 bytes · sha256 d8f2fa15affd4f7e… One base hole left out plausible mistake: must fail strict, caught by C6, C7 · as expected, 0.88 s
output/bracket.step ← tests/probes/mirrored.step 89,522 bytes · sha256 28dcdc826bc8b551… The gold solid mirrored left to right plausible mistake: must fail strict, caught by C3, C8, C10 · as expected, 0.91 s
output/bracket.step ← tests/probes/spline_faces.step 135,874 bytes · sha256 5a1a0ede8035bf36… The gold with every face converted to a B-spline surface: same shape, no true cylinders plausible mistake: must fail strict, caught by C9 · as expected, 1.87 s
검증기 출력 · gold 엄격 기준 통과 · 보상 1 · 점수 1.00
모든 게이트와 검사 항목을 통과했습니다.
전체 검증기 출력
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 91297 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 25 faces, volume 209268.6 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 1.0000 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 13 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass true reward 1 score 1.00
검증기 출력 · solve_py 엄격 기준 통과 · 보상 1 · 점수 1.00
모든 게이트와 검사 항목을 통과했습니다.
전체 검증기 출력
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 85015 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 24 faces, volume 209265.5 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 1.0000 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0090, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 12 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass true reward 1 score 1.00
검증기 출력 · alt_rebuilt 엄격 기준 통과 · 보상 1 · 점수 1.00
모든 게이트와 검사 항목을 통과했습니다.
전체 검증기 출력
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 83731 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 24 faces, volume 209268.6 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 1.0000 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 12 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass true reward 1 score 1.00
검증기 출력 · alt_bore_18009 엄격 기준 통과 · 보상 1 · 점수 1.00
모든 게이트와 검사 항목을 통과했습니다.
전체 검증기 출력
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 91386 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 25 faces, volume 209265.5 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 1.0000 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0090, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 13 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass true reward 1 score 1.00
검증기 출력 · alt_split_faces 엄격 기준 통과 · 보상 1 · 점수 1.00
모든 게이트와 검사 항목을 통과했습니다.
전체 검증기 출력
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 118131 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 32 faces, volume 209268.6 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 1.0000 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 4 cone, 18 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass true reward 1 score 1.00
검증기 출력 · empty 엄격 기준 실패 · 보상 0 · 점수 0.00
G1 FAIL output/bracket.step exists, is not empty and reads as STEP: the file is empty (0 bytes)
전체 검증기 출력
$ bash tests/test.sh output/bracket.step G1 FAIL output/bracket.step exists, is not empty and reads as STEP: the file is empty (0 bytes) checks not scored: a gate failed strict_pass false reward 0 score 0.00
검증기 출력 · claim_only 엄격 기준 실패 · 보상 0 · 점수 0.00
G1 FAIL output/bracket.step exists, is not empty and reads as STEP: no file at output/bracket.step
전체 검증기 출력
$ bash tests/test.sh output/bracket.step G1 FAIL output/bracket.step exists, is not empty and reads as STEP: no file at output/bracket.step checks not scored: a gate failed strict_pass false reward 0 score 0.00
검증기 출력 · scaled_copy 엄격 기준 실패 · 보상 0 · 점수 0.10
C1 FAIL Envelope: 122.400 × 81.600 × 85.680 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 FAIL Volume: 222.08 cm³ (+6.12%) expected 209.27 cm³ ±0.5% · w10 C3 FAIL Overlap with the gold (IoU): 0.8386 expected ≥ 0.995 · w10 C4 FAIL Bore diameter: Ø18.3600, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 FAIL Bore axis: position, square to B: X 61.200, Z 53.040; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 FAIL Through holes: count and diameter: 4 through, all Ø9.180 expected 4 × Ø9.0 ±0.10, through · w10 C7 FAIL Hole pattern: centre positions: 0 of 4 within 0.10, worst 2.100 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 FAIL Slot: width, length, centre: 10.200 × 30.600 at (42.840, 30.600) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10
전체 검증기 출력
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 96498 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 25 faces, volume 222077.5 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 122.40 × 81.60 × 85.68 mm C1 FAIL Envelope: 122.400 × 81.600 × 85.680 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 FAIL Volume: 222.08 cm³ (+6.12%) expected 209.27 cm³ ±0.5% · w10 C3 FAIL Overlap with the gold (IoU): 0.8386 expected ≥ 0.995 · w10 C4 FAIL Bore diameter: Ø18.3600, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 FAIL Bore axis: position, square to B: X 61.200, Z 53.040; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 FAIL Through holes: count and diameter: 4 through, all Ø9.180 expected 4 × Ø9.0 ±0.10, through · w10 C7 FAIL Hole pattern: centre positions: 0 of 4 within 0.10, worst 2.100 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 FAIL Slot: width, length, centre: 10.200 × 30.600 at (42.840, 30.600) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 13 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.84 < bore X 61.20: left expected slot left of the bore, seen from the front · w5 strict_pass false reward 0 score 0.10
검증기 출력 · bore_oversize 엄격 기준 실패 · 보상 0 · 점수 0.80
C4 FAIL Bore diameter: Ø18.4000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20
전체 검증기 출력
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 91317 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 25 faces, volume 209130.1 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.13 cm³ (-0.07%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 0.9993 expected ≥ 0.995 · w10 C4 FAIL Bore diameter: Ø18.4000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 13 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass false reward 0 score 0.80
검증기 출력 · three_holes 엄격 기준 실패 · 보상 0 · 점수 0.80
C6 FAIL Through holes: count and diameter: 3 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 FAIL Hole pattern: centre positions: 3 of 4 within 0.10, worst 0.000, 1 missing expected 90.0 × 36.0 from (15, 14), ±0.10 · w10
전체 검증기 출력
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 86917 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 24 faces, volume 210032.0 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 210.03 cm³ (+0.36%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 0.9964 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 FAIL Through holes: count and diameter: 3 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 FAIL Hole pattern: centre positions: 3 of 4 within 0.10, worst 0.000, 1 missing expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 12 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass false reward 0 score 0.80
검증기 출력 · mirrored 엄격 기준 실패 · 보상 0 · 점수 0.75
C3 FAIL Overlap with the gold (IoU): 0.9686 expected ≥ 0.995 · w10 C8 FAIL Slot: width, length, centre: 10.000 × 30.000 at (78.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C10 FAIL Handedness: slot X 78.00 > bore X 60.00: right expected slot left of the bore, seen from the front · w5
전체 검증기 출력
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 89522 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 25 faces, volume 209268.6 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 FAIL Overlap with the gold (IoU): 0.9686 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 FAIL Slot: width, length, centre: 10.000 × 30.000 at (78.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 ok Feature types: all present · faces: 2 cone, 13 cylinder, 10 plane expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 FAIL Handedness: slot X 78.00 > bore X 60.00: right expected slot left of the bore, seen from the front · w5 strict_pass false reward 0 score 0.75
검증기 출력 · spline_faces 엄격 기준 실패 · 보상 0 · 점수 0.95
C9 FAIL Feature types: missing: bore cylinder; 0/4 hole cylinders; R6 fillet ×0; R10 rounds ×0; 1×45° chamfers ×0 · faces: 25 B-spline expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5
전체 검증기 출력
$ bash tests/test.sh output/bracket.step G1 ok output/bracket.step exists, is not empty and reads as STEP: 135874 bytes, read as STEP G2 ok exactly one closed, valid solid with positive volume: 1 closed valid solid, 25 faces, volume 209268.6 mm³ G3 ok units are millimetres and the part fits inside a 250 mm cube: millimetre; extent 120.00 × 80.00 × 84.00 mm C1 ok Envelope: 120.000 × 80.000 × 84.000 expected 120.0 × 80.0 × 84.0 ±0.10 · w10 C2 ok Volume: 209.27 cm³ (+0.00%) expected 209.27 cm³ ±0.5% · w10 C3 ok Overlap with the gold (IoU): 1.0000 expected ≥ 0.995 · w10 C4 ok Bore diameter: Ø18.0000, 3 sections within 0.0000 expected Ø18 H7: 18.000 to 18.018 · w20 C5 ok Bore axis: position, square to B: X 60.000, Z 52.000; square 0.0000 expected X 60.00, Z 52.00 ±0.05; square ≤ 0.02 · w10 C6 ok Through holes: count and diameter: 4 through, all Ø9.000 expected 4 × Ø9.0 ±0.10, through · w10 C7 ok Hole pattern: centre positions: 4 of 4 within 0.10, worst 0.000 expected 90.0 × 36.0 from (15, 14), ±0.10 · w10 C8 ok Slot: width, length, centre: 10.000 × 30.000 at (42.000, 30.000) expected 10.0 × 30.0 at (42, 30) ±0.10 · w10 C9 FAIL Feature types: missing: bore cylinder; 0/4 hole cylinders; R6 fillet ×0; R10 rounds ×0; 1×45° chamfers ×0 · faces: 25 B-spline expected bore and holes true cylinders; R6 fillet, 4 × R10, 2 × 1×45° chamfers · w5 C10 ok Handedness: slot X 42.00 < bore X 60.00: left expected slot left of the bore, seen from the front · w5 strict_pass false reward 0 score 0.95
태스크 개요
에이전트가 받는 지시.
에이전트가 접근할 수 있는 파일 및 도구와 함께 제공되는 지시문입니다.
instruction.md818바이트
# Model the bracket on drawing DUF-S-001 `project/drawing.svg` is a released drawing (rev A) of a mounting bracket. Model it as one solid and export it as STEP (AP214 or AP242) to `output/bracket.step`. - Work in millimetres. Put the origin where datums A, B and C meet, with +X along the front edge, +Y towards the web and +Z up. - Model every feature on the drawing: the four through holes, the slot, the bore with its chamfers, the rounds and the inner fillet. - Model the Ø18 H7 bore at a diameter inside its tolerance (18.000 to 18.018). - The drawing governs. Where it is silent, ISO 2768-m applies. - Python 3.12 with OpenCascade (OCP, the kernel CadQuery is built on) and numpy is installed. You have no network access. When the file is written, say so in one line. Do not describe checks you did not run.
- 에이전트가 볼 수 있는 것
/workspace안의project/drawing.svg와 빈output/폴더- 도구
- Dockerfile이 설치하는 셸, OpenCascade(OCP)와 numpy가 포함된 Python 3.12. 네트워크 없음
- 에이전트에게 숨겨진 것
- 실행이 끝난 후에만 복사되는
tests/안의 정답 솔리드, 프로브, 검사 항목, 그리고solution/안의 참조 풀이 - 변형
- 생성기는 모든 치수, 구멍 패턴, 끼워맞춤을 매개변수로 받으므로, 하나의 유형에서 서로 다른 많은 태스크가 만들어집니다
납품물과 검증기
형상을 피처별로 채점합니다.
먼저 게이트를 거칩니다: 누락되었거나, 손상되었거나, 단위가 잘못된 답은 0점입니다. 그다음 가중치가 있는 10개의 검사 항목이 이어지며, 각각은 명시된 허용 오차를 갖는 측정입니다. 전체 형상 비교가 먼저입니다. 그다음 공차가 지정된 각 피처를 제출된 솔리드를 절단한 단면에서 개별적으로 측정하고, 그 면의 유형을 검사합니다.
- 파일
output/bracket.step, STEP AP214 또는 AP242, 정확히 하나의 솔리드- 좌표계
- 밀리미터, 원점은 데이텀 A, B, C, Z축 위쪽. 검증기는 비교 전에 데이텀 면에 맞춰 정렬도 수행합니다
- 채점 대상 아님
- 피처 트리, 바디 이름, 색상, 레이어, 모델링 방법
- 보상
- 모든 게이트와 10개 검사 항목을 모두 통과하면(엄격 기준 통과) 1, 그렇지 않으면 0. 이것이 학습 보상입니다
- 점수
- 통과한 검사 항목의 가중치 합을 100으로 나눈 값. 게이트 중 하나라도 실패하면 0. 답이 어디서 잘못되었는지를 보여 줍니다
게이트
| 게이트 | 충족 조건 |
|---|---|
| G1 | output/bracket.step가 존재하고, 비어 있지 않으며, STEP으로 읽힘 |
| G2 | 부피가 양수인, 닫혀 있고 유효한 솔리드가 정확히 하나 있음 |
| G3 | 단위가 밀리미터이고, 부품이 250 mm 정육면체 안에 들어감 |
검사 항목
| 검사 항목 | 측정 대상 | 목표값 | 허용 오차 | 가중치 |
|---|---|---|---|---|
| C1 | 외곽 치수 | 120.0 × 80.0 × 84.0 mm | ±0.10 mm | 10 |
| C2 | 부피 | 209.27 cm³(정답) | ±0.5% | 10 |
| C3 | A, B, C에 맞춰 정렬한 정답 솔리드와의 중첩도 | IoU(교집합 대 합집합 비율) | 0.995 이상 | 10 |
| C4 | 보어 지름: 3개 단면에서 보어 벽에 원을 맞춰 측정 | Ø18 H7 | 18.000~18.018 mm | 20 |
| C5 | 보어 축: 위치 및 B에 대한 직각도 | X 60.00, Z 52.00 | ±0.05 mm; 0.02 mm | 10 |
| C6 | 베이스의 관통 구멍: 개수와 지름 | 4 × Ø9.0, 관통 | ±0.10 mm | 10 |
| C7 | 구멍 패턴: 중심 위치 | 90.0 × 36.0, 첫 번째 구멍 위치 (15, 14) | ±0.10 mm | 10 |
| C8 | 슬롯: 폭, 길이, 중심 | 10.0 × 30.0, 중심 (42, 30) | ±0.10 mm | 10 |
| C9 | 존재하는 피처 유형 | 보어와 구멍은 진원통, R6 내측 필릿, R10 라운드 4개, 1 × 45° 보어 모따기 2개 | 면 유형 기준, 반지름은 ISO 2768-m 기준 | 5 |
| C10 | 좌우 방향 | 정면에서 볼 때 슬롯이 보어의 왼쪽에 있음 | 정확히 일치 | 5 |
도면과 모델에 호박색으로 표시된 C4는 전체 형상 비교로 대체할 수 없는 검사 항목입니다.
프로브
반드시 거부해야 할 오답, 반드시 통과시켜야 할 정답.
태스크를 출시하기 전에 참조 풀이의 출력, 의도적으로 틀리게 만든 답, 다른 방식으로 만든 올바른 대안 풀이에 대해 검증기를 실행합니다. 보상 해킹은 정확히 0점을 받아야 하고, 모든 그럴듯한 오류는 걸리도록 설계된 검사 항목에서 엄격 기준 실패해야 하며, 참조 풀이와 모든 올바른 대안 풀이는 통과해야 합니다. 아래의 각 행은 기록된 실행에서 가져온 것입니다.
모든 프로브 제출물과 측정값
| 제출물 | 내용 | 유형 | 검증기 측정값 | 탐지한 검사 항목 | 점수 | 엄격 기준 |
|---|---|---|---|---|---|---|
gold | 검증기가 비교 기준으로 삼는 정답 솔리드 | 정답 솔리드 | 외곽 0.10 이내; 부피 +0.00%; 중첩도 1.0000; 보어 Ø18.0000 | 없음 | 1.00 | 통과 |
solve_py | 참조 풀이: solution/solve.py가 OCP를 사용해 도면의 치수로 부품을 만듭니다 | 참조 풀이 | 외곽 0.10 이내; 부피 +0.00%; 중첩도 1.0000; 보어 Ø18.0090 | 없음 | 1.00 | 통과 |
alt_rebuilt | 다른 방식으로 만듦: 윤곽 두 개를 결합하고, 회전시킨 보어 절삭체 하나를 사용하고, 필릿은 마지막에 적용. STEP AP242 | 올바른 대안 풀이 | 외곽 0.10 이내; 부피 +0.00%; 중첩도 1.0000; 보어 Ø18.0000 | 없음 | 1.00 | 통과 |
alt_bore_18009 | 보어가 H7 범위 안인 Ø18.009이고, 나머지는 모두 정답과 동일 | 올바른 대안 풀이 | 외곽 0.10 이내; 부피 +0.00%; 중첩도 1.0000; 보어 Ø18.0090 | 없음 | 1.00 | 통과 |
alt_split_faces | 일부 CAD 시스템이 기록하는 방식처럼, 닫힌 면을 모두 둘로 분할한 정답 | 올바른 대안 풀이 | 외곽 0.10 이내; 부피 +0.00%; 중첩도 1.0000; 보어 Ø18.0000 | 없음 | 1.00 | 통과 |
empty | 빈 bracket.step | 보상 해킹 | 파일이 비어 있음(0바이트) | G1 | 0.00 | 실패 |
claim_only | 모델 없이 부품을 모델링하고 검사했다는 메모만 있음 | 보상 해킹 | output/bracket.step에 파일 없음 | G1 | 0.00 | 실패 |
scaled_copy | 1.02배로 축척한 정답 솔리드 | 그럴듯한 오류 | 외곽 122.400 × 81.600 × 85.680; 부피 +6.12%; 중첩도 0.8386; 보어 Ø18.3600 | C1~C8 | 0.10 | 실패 |
bore_oversize | 보어가 0.4 mm 크고, 나머지는 모두 정답과 동일 | 그럴듯한 오류 | 외곽 0.10 이내; 부피 -0.07%; 중첩도 0.9993; 보어 Ø18.4000 | C4 | 0.80 | 실패 |
three_holes | 베이스 구멍 하나 누락 | 그럴듯한 오류 | 외곽 0.10 이내; 부피 +0.36%; 중첩도 0.9964; 보어 Ø18.0000; 관통 구멍 3개 관통, 모두 Ø9.000; 구멍 패턴 4개 중 3개 0.10 이내, 최대 편차 0.000, 1개 누락 | C6, C7 | 0.80 | 실패 |
mirrored | 좌우로 반전한 정답 솔리드 | 그럴듯한 오류 | 외곽 0.10 이내; 부피 +0.00%; 중첩도 0.9686; 보어 Ø18.0000; 슬롯 10.000 × 30.000, 위치 (78.000, 30.000); 좌우 방향: 슬롯 X 78.00 > 보어 X 60.00: 오른쪽 | C3, C8, C10 | 0.75 | 실패 |
spline_faces | 모든 면을 B-spline 곡면으로 변환한 정답: 형상은 같지만 진원통이 없음 | 그럴듯한 오류 | 외곽 0.10 이내; 부피 +0.00%; 중첩도 1.0000; 보어 Ø18.0000; 진원통, 원뿔, 평면 없음 | C9 | 0.95 | 실패 |
다음 절의 실행인 tests/run_results.json에서 생성되었습니다. 크게 만든 보어는 외곽 치수, 부피, 중첩도를 모두 통과하며, 저희 자체 형상 연구에서와 마찬가지로 보어를 측정할 때만 잡힙니다. B-spline 사본은 형상은 맞지만 피처 유형에서만 실패합니다: CAM 시스템이나 검사원은 그 안에서 구멍으로 인식할 진원통을 찾지 못합니다.
tests/verify.py · C4와 C5가 보어를 측정하는 방식def measure_bore(solid):
"""The Ø18 H7 bore. Cut the web square to the bore at three depths, clear of the
1 mm chamfers; fit a circle to the bore's outline in each section. The diameter is
each circle's; the axis runs through the centres (position and squareness, C5)."""
y0, y1 = web_faces(solid) # the web's front and back faces, measured
ch = SPEC["bore"]["chamfer"]
depths = (y0 + ch + 0.5, (y0 + y1) / 2, y1 - ch - 0.5)
nominal = np.array([SPEC["bore"]["x"], SPEC["bore"]["z"]])
rings = []
for y in depths:
loops = round_loops(section_loops(solid, "y", y)) # inner loops that are circles
near = [l for l in loops if np.linalg.norm(l["centre"] - nominal) < 15]
if not near:
return None # no bore: C4 and C5 fail
rings.append(min(near, key=lambda l: np.linalg.norm(l["centre"] - nominal)))
shift = np.linalg.norm(rings[2]["centre"] - rings[0]["centre"])
tilt = shift * (y1 - y0) / (depths[2] - depths[0]) # over the web's thickness
return dict(d=[l["d"] for l in rings], centre=rings[1]["centre"], square=float(tilt),
roundness=max(l["roundness"] for l in rings))
파일에서 읽는 것이 아니라 부품에서 측정
검증기는 피처 자체의 라벨을 절대 신뢰하지 않습니다. 모따기를 피한 3개의 깊이에서 솔리드를 보어에 직각으로 절단하고, 각 단면에서 보어 윤곽에 원을 맞춥니다. 지름은 모든 단면에서 18 µm 폭의 H7 공차 범위 안에 있어야 하며, 중심들을 지나는 축으로 위치와 직각도를 구합니다.
구멍과 슬롯도 같은 방식으로, 베이스의 양쪽 면 근처와 두께 중간에서 절단한 단면에서 측정하므로, 관통된 구멍만 구멍으로 인정됩니다. 피처 유형(C9)은 면 자체의 정의에서 읽는 유일한 검사 항목입니다.
태스크 폴더
제공되는 내용, 파일별로.
다운로드에는 기록된 실행과 이를 재현하는 데 필요한 스크립트를 포함해 아래에 나열된 각 파일이 들어 있습니다.
| 경로 | 내용 | 크기 |
|---|---|---|
task.toml | ID, 분야, 접근 방식, 시간 제한, 데이터 분할, 컨테이너, 검증기 명령, 보상 규칙, 풀이 명령, 권리 | 1.1 KB |
instruction.md | 위의 개요 | 818 B |
environment/Dockerfile | 에이전트의 컨테이너: Python 3.12, OCP를 통한 OpenCascade, numpy, 도면. 실행 중에 외부에서 가져오는 것 없음 | 1.0 KB |
environment/project/drawing.svg | 참조 도면, rev A | 21.6 KB |
tests/test.sh | 검증기를 실행합니다. 먼저 보상 0을 기록하므로, 비정상 종료나 시간 초과가 발생해도 0점입니다 | 836 B |
tests/verify.py | 게이트와 10개 검사 항목 | 27.0 KB |
tests/gold/bracket.step | 평가자 측에 있는 정답 솔리드 | 91.3 KB |
tests/probes/ | 프로브: STEP 솔리드 8개, 빈 파일 하나, 주장만 있는 메모 하나, 그리고 각 제출물이 받아야 할 점수를 명시한 probes.json | 796.1 KB |
tests/run_probes.py | 참조 풀이를 실행한 다음, 그 출력, 정답 솔리드, 모든 프로브에 대해 검증기를 실행하고 각 결과를 확인합니다 | 5.1 KB |
tests/run_results.json | 이 페이지에 표시된 실행 | 36.9 KB |
solution/solve.sh | solve.py를 실행하고 output/bracket.step를 작성합니다 | 398 B |
solution/solve.py | 참조 풀이: 정답 솔리드를 읽지 않고, OCP를 사용해 도면의 치수로 브래킷을 만듭니다 | 7.6 KB |
태스크 폴더 다운로드 ZIP, 177.3 KB · 생성된 공개 샘플이며 평가 항목이 아닙니다
위의 실행은 Dockerfile이 빌드하는 컨테이너에서 네트워크를 끈 상태로 수행했습니다: 먼저 tests/가 없는 상태에서 참조 풀이를 실행한 다음, 검증기를 추가하여 실행했습니다.
귀사의 평가 하네스를 위한 이런 태스크가 필요하십니까?
학습하려는 역량과 평가 하네스가 받는 형식을 알려 주십시오. 저희가 태스크를 만드는 엔지니어링 & CAD 데이터와 환경 구축 방식도 살펴보십시오.