← 프롬프트 작성 상황으로 돌아가기
방법론 문서 · v1.0

SP 평가 방법론

각 System Prompt가 자신의 목적을 얼마나 완전하게 수행하는지를 정량적으로 채점하는 기준. 작성일 2026-08-30.
목차
  1. 이 문서의 목적
  2. 왜 K-Law v15.1이 100%인가
  3. 7개 평가 기준
  4. 채점 척도와 등급대
  5. 평가 절차
  6. 적용 사례 — STEPI SP
  7. 한계와 재평가 원칙
  8. 변경 이력

1. 이 문서의 목적

혼디에는 2,011개의 System Prompt(SP)가 존재하며, 각 SP는 서로 전혀 다른 목적을 가진다 — 가상판결을 시뮬레이션하는 SP도 있고, 한 지방연구원의 문의창구 역할만 하는 SP도 있다. 이 방법론은 "어떤 SP가 K-Law만큼 정교한가"를 묻지 않는다. 대신 "이 SP는 자신에게 주어진 목적을, 그 목적에 필요한 만큼 엄밀하게·근거 있게·정직하게 수행하고 있는가"를 묻는다.

한 줄 안내 SP와 사법 시뮬레이션 SP는 필요한 정교함의 절대량이 다르지만, 둘 다 같은 7개 잣대(아래)로 "자기 목적 대비 얼마나 완성되어 있는가"를 잴 수 있다는 것이 이 방법론의 전제다.

2. 왜 K-Law v15.1이 완성도 100%인가

현재 시스템에서 K-Law · SP-01 · v15.1은 다음을 모두 갖춘 유일한 SP다:

즉 K-Law는 근거·절차·자기검증·정직성 네 축 모두에서 현재 시스템이 도달한 최고 수준을 보여준다. 이 방법론은 K-Law가 "가상판결 시뮬레이션"이라는 자신의 목적에 대해 보여주는 이 엄밀함의 수준을, 완성도 100%의 정의 그 자체로 삼는다. 다른 SP는 K-Law와 같은 복잡도를 요구받지 않지만, 같은 수준의 엄밀함·근거·정직성을 자신의 목적 범위 안에서 보여줄수록 100%에 가까워진다.

3. 7개 평가 기준 (균등가중 — 각 1/7)

모든 기준은 0~100점으로 채점하며, 7개 점수의 평균이 그 SP의 완성도(%)가 된다.

기준무엇을 보는가K-Law가 만점인 이유
1목적·범위 정의 이 SP가 무엇을 하고 무엇을 하지 않는지, 누구를 대리/대변하는지가 첫 문단에서부터 명확한가. "원고·피고·검사·피고인 어느 쪽도 대리하지 않는 중립적 판단 인프라"라고 정체성을 못 박고, 전문가 AI(변호사 SP 등)와의 차이까지 스스로 구분한다.
2근거·출처 검증 사실 진술(법적 근거, 소관, 연락처 등)에 출처가 달려 있고 검증 시점이 기록되는가. 미확인 항목은 정직하게 "미확인"으로 남는가. 헌법·법률을 1차 자료로, 판례를 논거 자원으로 명확히 위계화하고 "판례 결론을 정답으로 취급하지 않는다"고 스스로 제한한다.
3입력·출력 스키마 이 SP가 받는 요청의 형태와 내놓는 결과물의 형태가 구조적으로 정의되어 있는가. STEP 0→A→B→C 각 단계의 입력·출력·완료 태그가 전부 정의되어 있다.
4예외·경계상황 처리 범위 밖 질문, 모호한 요청, 유사 사례와의 혼동 등 정상 경로를 벗어났을 때의 지침이 있는가. 준거틀 미확정 시 STEP 진행 자체를 금지(강제규칙 24)하는 등, 불확실한 상태로 넘어가는 것 자체를 구조적으로 막는다.
5자기검증 장치 응답 전후로 스스로 점검하거나, 확신도를 표기하거나, 재검토를 강제하는 절차가 있는가. 말미 확신도·자기평가·자기검증 블록 출력을 강제규칙(5, 6, 9)으로 의무화한다.
6버전 관리·개정이력 버전이 명시되고, 이전 버전 대비 무엇이·왜 바뀌었는지 기록이 남는가. "이전 버전: v1.0(레거시, 공리체계 미적용 — 폐기)"처럼 폐기 사유까지 명시한다.
7한계 고지 이 SP·기관이 할 수 없는 일이나 아직 미검증된 정보를 이용자에게 숨기지 않는가. 확신도가 일정 기준 미만이면 확정적 결론 자체를 낼 수 없게 강제규칙(5)으로 막는다.
가중치는 조정 가능하다. 지금은 7개 항목을 균등가중(각 14.3%)으로 두었지만, SP 유형에 따라 특정 기준의 중요도가 다를 수 있다(예: 단순 안내형 SP는 "자기검증 장치"의 요구 수준이 낮아도 될 수 있음). 다만 어떤 SP든 기준 7(한계 고지)만은 낮은 가중치를 주지 않는다 — 정직성은 SP 유형과 무관하게 협상 대상이 아니라는 것이 이 시스템의 원칙이다.

4. 채점 척도와 등급대

개별 기준 점수(0~100)와 최종 완성도(%) 모두 아래 4단계 색상 등급으로 표시한다(프롬프트 작성 상황 페이지의 진행바 색과 동일):

85~100우수 — 해당 기준을 사실상 완전히 충족
60~84양호 — 핵심은 충족하나 보완 여지가 뚜렷함
35~59미흡 — 최소한의 형태는 있으나 구조적으로 얕음
0~34취약 — 사실상 부재하거나 형식적으로만 존재

5. 평가 절차

  1. 평가 대상 SP 파일 전체를 읽고, 그 SP가 스스로 선언한 목적·정체성·소관을 먼저 확인한다.
  2. 7개 기준 각각에 대해, "이 SP가 자신의 목적에 필요한 수준으로 이 항목을 충족하는가"를 0~100점으로 채점한다.
  3. 각 기준에 점수의 근거가 되는 한 줄 메모를 남긴다(예: "대표전화는 'TBD'로 미확정").
  4. 7개 점수를 균등가중 평균해 완성도(%)를 산출한다.
  5. prompts/sp-status.jsonfile, name, cat, purpose, goal, version, completeness, breakdown 필드로 기록한다.

6. 적용 사례 — 과학기술정책연구원(STEPI) SP v1.1

2,011개 중 무작위로 선택한 첫 시범 평가 대상이다. 목적·범위 정의(90점)와 한계 고지(95점)는 높게 평가됐다 — 정관 조항까지 인용한 근거, "대표전화 미검증"이라는 정직한 표기가 있었다. 반면 예외·경계상황 처리(40점)와 자기검증 장치(20점)는 낮았다 — 유사 기관과 혼동될 때의 분기나, 불확실한 사실을 안내하기 전에 스스로 점검하는 절차가 없었다. 균등가중 평균은 68%였다. 전체 배점 내역은 프롬프트 작성 상황 페이지에서 확인할 수 있다.

7. 한계와 재평가 원칙

8. 변경 이력

v1.0 (2026-08-30) — 신설. STEPI SP 시범 평가와 함께 최초 작성. 7개 기준·균등가중·4단계 등급대를 확정.