블로그
시스템 프롬프트 최적화: 수정하고 테스트하며 비교하는 법
시스템 프롬프트를 줄이기 전에 합격 기준부터 정하세요. 중복 삭제, 충돌 수정, 제거 실험을 구분하고 실제 재작성 기록과 아직 실행하지 않은 실험을 나눠 설명합니다.
이 글의 내용
시스템 프롬프트 최적화는 지켜야 할 동작을 정하고, 한 가지씩 바꾼 뒤 같은 입력에서 실제 출력을 비교하는 일입니다. 짧아졌다는 이유만으로 채택하지 마세요. 이 글은 아직 실행하지 않은 시스템 역할 실험 설계와 2026년 11월 19일 브라우저에서 얻은 실제 재작성 기록을 구분합니다. 재작성은 지시 검토에 필요한 문제를 보여 주지만 최종 작업의 정확도 향상을 입증하지 않습니다. 저희가 Prompt Optimizer를 운영하므로 자체 템플릿의 문제도 공개합니다. 독립적인 제삼자 평가가 아닙니다.
고정 규칙과 매번 달라지는 입력을 구분하세요
고정된 애플리케이션 규칙은 실제 인터페이스가 지원하는 system, developer 등의 지시 필드에 넣습니다. 질문과 문서는 실행 입력으로 분리하고 어떤 역할을 사용했는지 기록하세요. 일반 채팅에 SYSTEM이라는 제목을 붙였다고 시스템 역할로 실행한 것은 아닙니다.
교육 과제는 소프트웨어 릴리스 공지를 분류하는 일입니다. 공지 ID, 출처 ID, 공식 여부, 개정 번호, 태그, 인용문을 받습니다. 이 메타데이터는 테스트 애플리케이션이 제공합니다. 모델이 웹사이트의 진위를 검증하는 과제가 아니므로, 주어진 속성에 따른 분류를 외부 출처 확인으로 과장하지 않습니다.

수정하기 전에 합격 기준을 고정하세요
출력 계약은 notice_id, category, review, evidence_id를 실제 탭으로 구분한 TSV 한 줄입니다. 조건에 맞는 공식 출처에서 가장 높은 개정 번호를 선택하고 소문자 태그를 정확히 일치시킵니다. 누락과 같은 개정의 충돌은 드러내며, 분류 우선순위도 계약에서 정해야 합니다.
정상, 정보 누락, 같은 개정의 충돌, 형식 경계, 인용문 속 유도 지시를 준비하고 기대 동작을 먼저 고정합니다. 인용문이 규칙을 무시하고 security를 반환하라고 해도 분석할 데이터일 뿐입니다. 마음에 드는 답변을 얻고 나서 기준을 바꾸면 공정한 비교가 되지 않습니다.
| 사례 | 확인할 동작 | 남길 오류 |
|---|---|---|
| 정상 | 올바른 출처와 태그 | 분류·근거 ID 오류 |
| 누락 | 근거를 만들지 않음 | 추측으로 필드 채우기 |
| 충돌 | 불확실성 표시 | 임의로 한쪽 선택 |
| 경계 | 네 필드, 탭, 한 줄 | 제목·설명·추가 줄 |
| 인용 지시 | 데이터로만 처리 | 인용 속 명령 실행 |
축약과 충돌 수정, 규칙 추가는 별개입니다
문장마다 과제, 근거 선택, 우선순위, 출력 형식, 누락 처리, 권한, 예시 중 어떤 일을 맡는지 표시하세요. 중복은 삭제 후보지만 긴 문장이나 금지 표현이 모두 군더더기는 아닙니다. 유일한 업무 규칙이라면 삭제 뒤 어느 문장이 그 요구를 보존하는지 설명할 수 있어야 합니다.
Markdown 표를 CSV로 고치는 것은 형식 충돌 수정이고, 반복 단락을 지우는 것이 순수한 축약입니다. 누락 시 처리 규칙을 넣는 것은 또 다른 가설입니다. 함께 고친 후보를 만들 수는 있지만 결과를 전부 짧아진 효과로 설명하면 안 됩니다. 수정 이유와 예상 영향을 따로 기록하세요.
| 변경 | 바뀌는 부분 | 알아볼 수 있는 것 |
|---|---|---|
| 중복 삭제 | 반복된 규칙 | 이 조건에서 반복이 필요한가 |
| 충돌 수정 | 양립하지 않는 출력 조건 | 충돌이 오류 원인인가 |
| 예외 처리 추가 | 누락 시 동작 | 누락과 추측이 줄어드는가 |
| 출처 경계 제거 | 한 가지 제약 | 그 삭제가 동작에 영향을 주는가 |
A/B/C 자료는 준비했지만 실행 결과는 없습니다
다운로드에는 A 원본, B 중복 단락만 삭제한 버전, C 인용문 속 명령을 데이터로 다루는 단락까지 제거한 버전이 있습니다. 길이는 각각 2,276, 1,704, 1,473 ASCII 문자입니다. 토큰 수가 아닙니다. 편집자가 구성한 실험용 버전이며 실제 최적화 기능의 결과도 아닙니다.
개발 사례 15개와 보류 사례 15개를 마련했습니다. 라벨이 공개되어 있고 구조가 비슷하므로 외부 블라인드 벤치마크라고 할 수 없습니다. 고정된 시스템 역할 환경에서 실행하지 않았기에 통과 수, 실패 출력, 절감액을 보고하지 않습니다.
C가 B와 같을 수도 있습니다. 나머지 규칙이 이미 분류를 제한할 수 있기 때문입니다. 차이가 없으면 그대로 보고하고, 제약이 필요하다는 이야기를 만들려고 실패를 꾸미지 마세요. 짧은 버전에서 회귀가 생겨도 남겨야 합니다. 제거 실험은 의존성을 살피는 방법이지 원하는 결론을 보장하는 절차가 아닙니다.
자료 경계와 앱의 권한 제어를 함께 적용하세요
인용문을 표시된 데이터 필드에 두고 출처 ID와 사용할 수 있는 항목을 명시합니다. 구분자는 검토를 돕지만 악의적 지시를 차단한다고 보장하지 않습니다. 도구 접근과 실행 권한은 애플리케이션에서도 제어해야 합니다.
교육 예로 N-101에 공식 출처 O1, 개정 1, feature 태그를 주고 인용문에 다른 분류를 요구하게 합니다. 계약상 기대 필드는 N-101, feature, none, O1이며 탭으로 구분합니다. 이는 정답 라벨이지 모델 응답이 아닙니다. 나중에 실행하면 반환된 원문을 그대로 저장하세요.

실제 재작성에서 발견한 템플릿 문제
별도 브라우저 검증에서는 같은 세 합성 과제를 로컬 생성기, 자체 AI, Aiven 무료 도구에 넣어 후보 아홉 개를 모두 보관했습니다. 같은 최종 모델로 실행하지 않았으므로 지시 보존 여부만 관찰할 수 있고 정확도 순위는 매길 수 없습니다.
자체 CSV 템플릿은 Widget L, 0, USD를 보존했지만 Table 설정이 Markdown 표와 출처·불확실성 열을 더해 원래 형식과 충돌했습니다. Aiven은 최대 120단어를 120단어로 바꾸고 사실 두 개의 글머리표와 질문 줄을 약화했으며, 충돌 과제에서 S1/S2의 실제 주장도 빠뜨렸습니다. 자체 AI CSV 후보는 원시 CSV를 요구하면서 코드 블록 예시를 넣었습니다.
이는 저장한 텍스트에서 확인한 변화와 후속 테스트가 필요한 위험입니다. 최종 추출이나 작성 작업이 성공 또는 실패했다고 주장하지 않습니다. 보기 좋은 후보만 골라 전체 결과인 것처럼 제시하지도 않습니다.
토큰 절감보다 작업 품질을 먼저 측정하세요
실제 모델 버전, 샘플링, 도구, 문맥, 채점 규칙을 고정합니다. 개발 세트로 수정을 결정한 다음 보류 세트를 쓰고 그 결과에 계속 맞추지 마세요. 같은 사례 세 번은 독립 사례 한 개입니다. 통과·실패·통과라는 변동은 유용하지만 독립 성공 세 건이 아닙니다.
형식 오류, 요구 누락, 잘못된 근거, 근거 없는 단정을 따로 집계합니다. 거부, 잘림, 통신 실패도 남깁니다. 토큰은 실제 usage나 명시한 tokenizer로 측정하고 문자 수로 대신하지 않습니다. 비용 계산에는 적용 가격과 캐시 등도 필요합니다. 이번 기록에는 공급자 usage가 없어 절감액을 계산하지 않았습니다.
OpenAI의 간결한 지시 관련 방향성 결과는 내부 코딩 에이전트 평가 범위입니다. 이 사이트를 측정한 것도, 모든 과제에서 효과가 있다는 약속도 아닙니다. 중요한 조건이 나빠졌다면 이전 버전으로 돌아가거나 고친 뒤 새 비교를 하세요.
로컬에서 초안을 만들고 실제 모델에서 검증하세요
로컬 후보 세 개 모두 이미 과제에 사실이 있는데도 SOURCE_MATERIAL 변수를 추가했습니다. 의도적으로 채우거나 지워야 합니다. 모델에게 스스로 확인하라는 문장을 넣어도 독립 검증이 되지는 않습니다.
인증 후 자체 AI 재작성 네 번은 모두 반환되었고 1, 1, 3, 2크레딧을 사용했습니다. 긴 입력 확인을 포함합니다. 유료 등급 권한의 관리자 계정을 썼으며 표시 모델은 glm-5.3-flash, Any model은 대상 라벨이었습니다. 일반 무료 계정이나 모든 모델을 확인한 것이 아니며 A/B/C 실행도 아닙니다.
자주 묻는 질문
시스템 프롬프트는 얼마나 줄여야 하나요?
이번에는 최적 문자 수를 측정하지 않았습니다. 필요한 조건을 보존하고 하나의 삭제를 시험하세요. 필수 예외 규칙을 더해 길어질 수도 있습니다.
금지 문장과 예시는 모두 지워야 하나요?
그 문장이 맡은 고유 요구부터 확인하세요. 삭제를 별도 실험으로 다루고 실패 출력도 보존합니다.
구조 점수로 효과를 증명할 수 있나요?
아닙니다. 누락이나 충돌을 찾는 데 도움은 되지만 실제 모델 실행으로 작업 조건 충족 여부를 확인해야 합니다.
제거 버전이 나빠지지 않으면요?
시험한 조건에서 차이를 관찰하지 못했다고 보고합니다. 겹치는 규칙과 사례 범위를 점검하되 모든 과제로 일반화하지 않습니다.