Evaluator Artifact Contract

🇰🇷 한국어

이 artifact contract는 verification-complexity-level-3-plus work, external agent-governance logic intake, RAG/evaluator 기반 개선 후보에 적용된다. report를 더 찍어내려는 게 아니라, rejected candidate와 함께 promote할 수 있는 evidence를 남기는 것이 목적이다.

Applicability
Artifact Set
Promotion Rules
Minimum verifier-result.json Shape
Forbidden

Applicability

verification-complexity-level-3-plus work
external agent-governance logic intake
playbook, rule, skill, hook 변경을 제안하는 RAG 또는 evaluator output
installed assets가 바뀌기 전의 promotion decision

Artifact Set

scenario.json: verification scenario, input condition, non-goal, forbidden surface를 기록한다.
trace.json: evaluator execution trace, read-only 여부, accessed source, command 요약을 기록한다.
report.json: metric, finding, pass/fail 상태, uncertainty를 기록한다.
candidate-playbook.md: candidate 절차를 human reviewer에게 설명한다.
verifier-result.json: verifier 판단, accepted/rejected 상태, rejected candidate 목록을 기록한다.

Promotion Rules

read-only evaluator pass는 installed assets를 mutate하면 안 된다.
accepted verifier-result(verifier-result.json) 없이 candidate-playbook.md를 promote하지 않는다.
verifier가 no라고 말할 수 있음을 증명하려면 rejected candidate가 최소 하나 있어야 한다.
verifier-result.json에 accepted: false가 있으면 installed asset 변경을 멈춘다.
이 artifact contract는 high-risk work용이다. low-complexity task에서 report를 만들려고 쓰지 않는다.

Minimum verifier-result.json Shape

{
  "accepted": false,
  "reason": "insufficient evidence",
  "accepted_candidates": [],
  "rejected_candidates": [
    {
      "id": "candidate-001",
      "reason": "mutates installed assets during read-only pass"
    }
  ]
}

Forbidden