하나의 프레임워크, 두 가지 역할
CLEAR는 의도적으로 단순하게 설계되었습니다. 프롬프트를 작성할 때와 응답을 검토할 때 같은 세 가지 질문을 사용합니다. 따라서 모델이 답한 뒤 임의로 평가 기준을 만드는 대신, 답변 전부터 테스트 기준을 명확히 볼 수 있습니다.
프롬프트 작성 시: AI가 무엇을 알아야 하나요? 검토 시: 답변이 관련 컨텍스트를 정확히 이해하고 활용했나요?
프롬프트 작성 시: 어떤 규칙이 적용되나요? 검토 시: 답변이 요청한 규칙, 제약, 경계를 지켰나요?
프롬프트 작성 시: AI가 정확히 무엇을 반환해야 하나요? 검토 시: 답변이 실제로 기대한 답변과 결과를 제공했나요?
C — 컨텍스트
컨텍스트는 응답이 주어진 상황을 이해했는지 묻습니다. 여기에는 사용자의 목표, 대상 독자, 원문 자료, 지식 수준, 바뀌면 안 되는 사실, 작업을 정확히 수행하는 데 필요한 기타 정보가 포함될 수 있습니다.
컨텍스트 점수가 높다고 해서 답변의 모든 사실 주장이 독립적으로 검증되었다는 뜻은 아닙니다. 해당 작업에 제공된 컨텍스트를 답변이 올바르게 사용했다는 뜻입니다.
L — 제한 조건
제한 조건은 답변의 형태를 정하는 명시적 규칙입니다. 가능한 경우 객관적으로 확인할 수 있게 만듭니다. 예를 들어 단어 수, 불릿 수, 문단 수, 필수 라벨, 필수 마무리 문장, 무료 리소스만 사용하기 같은 조건입니다.
단어 수나 필수 항목 수 같은 기계적인 검사는 겉모습으로 추측하지 않고 사실로 기록합니다.
의미 보존이나 요청한 어조 유지처럼 판단이 필요한 제약은 눈에 보이는 검토 근거로 설명합니다.
EAR — 기대 답변 및 결과
EAR은 가장 실용적인 질문을 합니다. 응답이 실제로 사용자에게 필요한 것을 제공했는가? 여기서는 완전성, 유용성, 의미 보존, 그리고 결과가 요청한 목적에 적합한지를 평가합니다.
답변이 단어 수 제한과 올바른 라벨을 지켜도 중요한 의존성을 빠뜨리거나 확실성의 정도를 바꾸거나 실제 용도에 바로 쓸 수 없는 결과를 만들 수 있습니다.
응답이 작업 전체를 충족합니다. 관련 컨텍스트를 사용하고 규칙을 지키며 사용자가 요청한 의미와 실질적인 결과를 보존합니다.
CLEAR 점수가 만들어지는 과정
각 응답 품질 테스트는 같은 기본 절차를 따릅니다. 목표는 반복 가능성과 투명성이지, 한 번의 수동 실행이 과학적 벤치마크라고 주장하는 것이 아닙니다.
1~10점 척도
미흡: 요구사항을 대부분 충족하지 못했습니다.
부분 충족: 중요한 부족함이 남아 있습니다.
양호: 요구사항을 대부분 충족했지만 의미 있는 문제가 남아 있습니다.
매우 양호: 거의 완전히 충족했으며 사소한 문제만 있습니다.
이 테스트에서 완전 충족: 해당 항목에서 의미 있는 문제를 찾지 못했습니다.
해당 항목이 실제로 적용되지 않을 때 사용합니다. “해당 없음”을 억지로 10/10으로 바꾸지 않습니다.
실제 예시: 형식은 완벽하지만 의미가 바뀐 경우
예를 들어 테스트 2에서는 네 가지 어시스턴트에게 관리자를 위한 프로젝트 메모 요약을 요청했습니다. 원문에는 웹사이트 리디자인이 “9월 12일 출시 예정입니다.”라고 되어 있었지만 ChatGPT는 이를 “Website redesign launches 12 September.”(“웹사이트 리디자인은 9월 12일 출시됩니다.”)
왜 중요한가: 날짜는 유지됐지만 상태가 바뀌었습니다. “출시 예정”은 조건이 있는 프로젝트 정보인 반면 “출시됩니다”는 확정된 사건처럼 표현합니다. 관리용 요약에서는 이런 차이가 프로젝트 상태를 바탕으로 한 의사결정, 마감일, 기대를 실질적으로 바꿀 수 있습니다.
응답은 간결한 관리용 요약이라는 작업을 이해했고 관련 프로젝트 주제를 유지했습니다.
75단어 이내를 지켰고 정확히 세 개의 불릿을 사용했으며 요청대로 Status:, Risk:, Next action: 라벨을 사용했습니다.
결과는 간결하고 형식도 정확하지만 예정된 출시를 확정된 출시로 바꿉니다. 관리자를 위한 요약에서 이는 의사결정에 중요한 프로젝트 상태를 바꾸며 계획을 실질적으로 오도할 수 있습니다.
CLEAR가 하는 일과 주장하지 않는 것
응답이 작업을 이해했는지, 요청한 제한 조건을 지켰는지, 기대한 결과를 제공했는지를 각 점수의 눈에 보이는 근거와 함께 보여줍니다.
모든 사실 주장이 참이라는 것, 특정 어시스턴트가 일반적으로 “최고”라는 것, 또는 한 번의 수동 실행이 모델의 과학적 벤치마크라는 것을 증명하려는 것이 아닙니다.
사실 검증이 중요할 때는 출처나 주장을 별도로 확인하고 증거로 기록할 수 있습니다. CLEAR 자체는 실제로 테스트한 프롬프트를 기준으로 한 응답 품질에 집중합니다.