AI 응답을 평가하는 방법: CLEAR

컨텍스트. 제한 조건. 기대 답변 및 결과.

CLEAR는 응답 품질 테스트에 사용하는 간결한 프레임워크입니다. 동일한 세 가지 요소로 프롬프트를 정의하고, 첫 번째 답변이 요구사항을 얼마나 잘 충족했는지 검토합니다.

하나의 프레임워크, 두 가지 역할

CLEAR는 의도적으로 단순하게 설계되었습니다. 프롬프트를 작성할 때와 응답을 검토할 때 같은 세 가지 질문을 사용합니다. 따라서 모델이 답한 뒤 임의로 평가 기준을 만드는 대신, 답변 전부터 테스트 기준을 명확히 볼 수 있습니다.

C — 컨텍스트

프롬프트 작성 시: AI가 무엇을 알아야 하나요? 검토 시: 답변이 관련 컨텍스트를 정확히 이해하고 활용했나요?

L — 제한 조건

프롬프트 작성 시: 어떤 규칙이 적용되나요? 검토 시: 답변이 요청한 규칙, 제약, 경계를 지켰나요?

EAR — 기대 답변 및 결과

프롬프트 작성 시: AI가 정확히 무엇을 반환해야 하나요? 검토 시: 답변이 실제로 기대한 답변과 결과를 제공했나요?

왜 간결하게 유지하나요? 독자가 왜 그런 점수가 나왔는지 확인할 수 있어야 평가가 의미가 있습니다. CLEAR는 기억하기 쉬울 만큼 항목을 넓게 유지하되, 각 점수에는 구체적이고 눈에 보이는 근거가 필요합니다.

C — 컨텍스트

컨텍스트는 응답이 주어진 상황을 이해했는지 묻습니다. 여기에는 사용자의 목표, 대상 독자, 원문 자료, 지식 수준, 바뀌면 안 되는 사실, 작업을 정확히 수행하는 데 필요한 기타 정보가 포함될 수 있습니다.

예시: 프롬프트가 통계를 한 번도 배운 적 없는 15세에게 설명해 달라고 한다면, 좋은 답변은 개념을 부정확한 것으로 바꾸지 않으면서 그 대상에 맞게 쉽게 설명해야 합니다.

컨텍스트 점수가 높다고 해서 답변의 모든 사실 주장이 독립적으로 검증되었다는 뜻은 아닙니다. 해당 작업에 제공된 컨텍스트를 답변이 올바르게 사용했다는 뜻입니다.

L — 제한 조건

제한 조건은 답변의 형태를 정하는 명시적 규칙입니다. 가능한 경우 객관적으로 확인할 수 있게 만듭니다. 예를 들어 단어 수, 불릿 수, 문단 수, 필수 라벨, 필수 마무리 문장, 무료 리소스만 사용하기 같은 조건입니다.

먼저 측정

단어 수나 필수 항목 수 같은 기계적인 검사는 겉모습으로 추측하지 않고 사실로 기록합니다.

그다음 검토

의미 보존이나 요청한 어조 유지처럼 판단이 필요한 제약은 눈에 보이는 검토 근거로 설명합니다.

중요: 형식을 완벽히 지켰다고 해서 자동으로 고품질 결과가 되는 것은 아닙니다. 의미를 바꾸거나 실제 작업을 놓치면 제한 조건에서 10/10을 받아도 기대 답변 및 결과 항목에서는 점수를 잃을 수 있습니다.

EAR — 기대 답변 및 결과

EAR은 가장 실용적인 질문을 합니다. 응답이 실제로 사용자에게 필요한 것을 제공했는가? 여기서는 완전성, 유용성, 의미 보존, 그리고 결과가 요청한 목적에 적합한지를 평가합니다.

형식은 좋지만 결과는 약함

답변이 단어 수 제한과 올바른 라벨을 지켜도 중요한 의존성을 빠뜨리거나 확실성의 정도를 바꾸거나 실제 용도에 바로 쓸 수 없는 결과를 만들 수 있습니다.

강한 결과

응답이 작업 전체를 충족합니다. 관련 컨텍스트를 사용하고 규칙을 지키며 사용자가 요청한 의미와 실질적인 결과를 보존합니다.

이메일 예시: 저희 이메일 재작성 테스트에서는 전문적인 이메일이 모든 필수 사실을 보존해도 일반적인 맺음말이 없으면 불완전하게 느껴질 수 있습니다. 프롬프트가 맺음말을 명시적으로 요구하지 않았다면 반드시 제한 조건 위반은 아니지만, EAR 평가에는 영향을 줄 수 있습니다.

CLEAR 점수가 만들어지는 과정

각 응답 품질 테스트는 같은 기본 절차를 따릅니다. 목표는 반복 가능성과 투명성이지, 한 번의 수동 실행이 과학적 벤치마크라고 주장하는 것이 아닙니다.

1
정확한 프롬프트 고정
해당 테스트의 모든 어시스턴트에 동일한 프롬프트 문구를 사용합니다.
2
첫 번째 완전한 답변 캡처
새 채팅에서 재생성이나 후속 질문 없이 진행합니다. 원본 스크린샷을 증거로 보관합니다.
3
보이는 테스트 조건 기록
날짜, 표시된 모델, 계정, 웹/검색 상태 및 기타 관련 설정을 기록합니다.
4
측정 가능한 제한 조건 확인
단어 수, 불릿 수, 라벨 등 객관적인 제약은 직접 확인합니다. 일관성을 위해 단어 수는 화면에 보이는 답변을 공백으로 구분한 토큰을 기준으로 계산합니다. 제목, 라벨, 인사말, 맺음말, 모델이 추가한 주석은 포함하고 Markdown 서식 자체는 포함하지 않습니다.
5
C, L, EAR을 각각 평가
각 점수에는 눈에 보이는 근거를 붙입니다. 10/10을 주기 전에는 관련 날짜, 숫자, 의존성, 확실성, 의미를 다시 확인하며, “눈에 띄는 문제가 없다”는 이유만으로 완벽한 결과라고 판단하지 않습니다.

1~10점 척도

1–3

미흡: 요구사항을 대부분 충족하지 못했습니다.

4–6

부분 충족: 중요한 부족함이 남아 있습니다.

7–8

양호: 요구사항을 대부분 충족했지만 의미 있는 문제가 남아 있습니다.

9

매우 양호: 거의 완전히 충족했으며 사소한 문제만 있습니다.

10

이 테스트에서 완전 충족: 해당 항목에서 의미 있는 문제를 찾지 못했습니다.

N/A

해당 항목이 실제로 적용되지 않을 때 사용합니다. “해당 없음”을 억지로 10/10으로 바꾸지 않습니다.

왜 종합 우승 점수가 없나요? C, L, EAR을 분리하면 실패 지점을 더 쉽게 볼 수 있습니다. 형식 점수가 완벽하다고 해서 의미가 실질적으로 바뀐 문제를 평균값으로 희석해서는 안 됩니다.

실제 예시: 형식은 완벽하지만 의미가 바뀐 경우

예를 들어 테스트 2에서는 네 가지 어시스턴트에게 관리자를 위한 프로젝트 메모 요약을 요청했습니다. 원문에는 웹사이트 리디자인이 “9월 12일 출시 예정입니다.”라고 되어 있었지만 ChatGPT는 이를 “Website redesign launches 12 September.”(“웹사이트 리디자인은 9월 12일 출시됩니다.”)

왜 중요한가: 날짜는 유지됐지만 상태가 바뀌었습니다. “출시 예정”은 조건이 있는 프로젝트 정보인 반면 “출시됩니다”는 확정된 사건처럼 표현합니다. 관리용 요약에서는 이런 차이가 프로젝트 상태를 바탕으로 한 의사결정, 마감일, 기대를 실질적으로 바꿀 수 있습니다.

컨텍스트 10/10

응답은 간결한 관리용 요약이라는 작업을 이해했고 관련 프로젝트 주제를 유지했습니다.

제한 조건 10/10

75단어 이내를 지켰고 정확히 세 개의 불릿을 사용했으며 요청대로 Status:, Risk:, Next action: 라벨을 사용했습니다.

EAR 5/10

결과는 간결하고 형식도 정확하지만 예정된 출시를 확정된 출시로 바꿉니다. 관리자를 위한 요약에서 이는 의사결정에 중요한 프로젝트 상태를 바꾸며 계획을 실질적으로 오도할 수 있습니다.

CLEAR가 제한 조건과 EAR을 분리하는 이유입니다: 답변이 눈에 보이는 모든 형식 규칙을 지켜도 실질적인 품질 문제가 남을 수 있습니다.

CLEAR가 하는 일과 주장하지 않는 것

CLEAR가 보여주도록 설계된 것

응답이 작업을 이해했는지, 요청한 제한 조건을 지켰는지, 기대한 결과를 제공했는지를 각 점수의 눈에 보이는 근거와 함께 보여줍니다.

CLEAR가 증명하려는 것이 아닌 것

모든 사실 주장이 참이라는 것, 특정 어시스턴트가 일반적으로 “최고”라는 것, 또는 한 번의 수동 실행이 모델의 과학적 벤치마크라는 것을 증명하려는 것이 아닙니다.

사실 검증이 중요할 때는 출처나 주장을 별도로 확인하고 증거로 기록할 수 있습니다. CLEAR 자체는 실제로 테스트한 프롬프트를 기준으로 한 응답 품질에 집중합니다.

실제 응답에 적용된 CLEAR 보기

응답 품질 테스트를 열어 실용적인 프롬프트 5개와 보너스 테스트 2개에서 사람이 CLEAR로 검토한 답변 28개를 비교하고, 별도의 Fun Prompt에서 커뮤니티 평가를 받는 답변 4개도 확인하세요.

이 CLEAR 가이드 공유

PromptingEasy를 화면에 추가

브라우저 메뉴에서 이 사이트를 설치하거나 홈 화면에 추가하는 옵션을 선택하세요.