Paano Namin Sinusuri ang mga Sagot ng AI gamit ang CLEAR

Context. Limits. Expected Answer & Result. — Konteksto · Mga limitasyon · Inaasahan · Sagot · Resulta

Ang CLEAR ay ang maikling framework na ginagamit namin sa Response Quality Tests. Ang tatlong elementong ito ay tumutulong sa pagbuo ng prompt at sa pagsusuri kung gaano kahusay natugunan ng unang sagot ang hinihingi.

Isang framework, dalawang gamit

Sadyang simple ang CLEAR. Pareho ang tatlong tanong nito sa pagsulat ng prompt at sa pagsusuri ng sagot. Dahil dito, malinaw na ang pamantayan ng pagsubok bago pa sumagot ang modelo, sa halip na mag-imbento ng sistema ng rating pagkatapos.

C — Context

Kapag gumagawa ng prompt: Ano ang kailangang malaman ng AI? Kapag nagsusuri: Naunawaan at nagamit ba nang tama ng sagot ang kaugnay na konteksto?

L — Limits

Kapag gumagawa ng prompt: Anong mga tuntunin ang dapat sundin? Kapag nagsusuri: Sinunod ba ng sagot ang hiniling na mga tuntunin, limitasyon at hangganan?

EAR

Kapag gumagawa ng prompt: Ano mismo ang dapat ibalik ng AI? Kapag nagsusuri: Naihatid ba ng sagot ang eksaktong inaasahang sagot at resulta?

Bakit pinananatiling simple? Kapaki-pakinabang lang ang rating kapag nakikita ng mambabasa kung bakit iyon ibinigay. Ginagawang madaling tandaan ng CLEAR ang mga dimensiyon, pero kailangan pa rin ng tiyak at nakikitang paliwanag para sa bawat score.

C — Context

Sinusuri ng Context kung naunawaan ng sagot ang sitwasyong ibinigay rito. Maaaring kabilang dito ang layunin ng user, audience, pinagmulang materyal, antas ng kaalaman, mga katotohanang hindi dapat baguhin, o iba pang impormasyong kailangan para maisagawa nang tama ang gawain.

Halimbawa: Kung humihingi ang prompt ng paliwanag para sa isang 15 taong gulang na hindi pa nakapag-aral ng statistics, dapat gawing mas madaling maunawaan ng mahusay na sagot ang konsepto nang hindi ito binabago sa maling impormasyon.

Ang mataas na Context score ay hindi nangangahulugang nakapag-independiyenteng beripika na ng bawat pahayag na may kinalaman sa katotohanan. Ibig sabihin nito, nagamit nang tama ng sagot ang kontekstong ibinigay para sa gawain.

L — Limits

Ang Limits ay ang mga tahasang tuntuning humuhubog sa sagot. Kung maaari, ginagawa naming obhetibong masusuri ang mga ito: bilang ng salita, bullet, talata, kinakailangang label, eksaktong pangwakas na pangungusap, o tuntuning gaya ng paggamit lamang ng mga libreng resource.

Sukatin muna

Ang mga mekanikal na pagsusuri, gaya ng bilang ng salita at hinihinging item, ay itinatala bilang katotohanan at hindi hinuhulaan batay sa hitsura.

Pagkatapos ay suriin

Ang mga limitasyong kailangan ng paghatol—halimbawa, ang pagpapanatili ng kahulugan o hiniling na tono—ay ipinapaliwanag sa nakikitang review.

Mahalaga: Ang perpektong pagsunod sa format ay hindi awtomatikong nangangahulugan ng mataas na kalidad. Maaaring makakuha ang sagot ng 10/10 sa Limits pero mabawasan sa Expected Answer & Result kung binabago nito ang kahulugan o hindi natutupad ang tunay na gawain.

EAR — Expected Answer & Result

Itinatanong ng EAR ang pinakamahalagang praktikal na tanong: naibigay ba talaga ng sagot ang kailangan ng user? Dito namin sinusuri ang pagkakumpleto, pakinabang, pagpapanatili ng kahulugan, at kung angkop ang resulta sa hiniling na layunin.

Tamang format, mahinang resulta

Maaaring pasok sa limitasyon ng salita ang sagot at tama ang mga label nito, pero hindi nabanggit ang mahalagang dependency, nabago ang antas ng katiyakan, o hindi puwedeng gamitin ang kinalabasan para sa nilalayong layunin.

Mahusay na resulta

Natutugunan ng sagot ang buong gawain: ginagamit nito ang kaugnay na konteksto, sinusunod ang mga tuntunin, at pinananatili ang kahulugan at praktikal na resultang hiniling ng user.

Halimbawa sa email: Sa aming pagsubok sa muling pagsulat ng email, maaaring mapanatili ng isang propesyonal na email ang lahat ng kinakailangang impormasyon pero magmukhang hindi kumpleto kung walang karaniwang pangwakas na pagbati. Hindi ito awtomatikong pagkabigo sa Limits kung hindi tahasang hiniling ang pangwakas na pagbati, pero maaari itong makaapekto sa EAR.

Paano kinukuha ang CLEAR score

Pare-pareho ang pangunahing pagkakasunod-sunod ng bawat Response Quality Test. Layunin naming maging paulit-ulit at malinaw ang proseso, hindi sabihing siyentipikong benchmark ang isang manwal na pagsubok.

1
I-freeze ang eksaktong prompt
Parehong teksto ng prompt ang ginagamit para sa bawat AI assistant sa pagsubok na iyon.
2
Itala ang unang kumpletong sagot
Bagong chat, walang regenerate at walang follow-up. Itinatago ang orihinal na screenshot bilang ebidensiya.
3
Itala ang mga nakikitang kondisyon
Idinodokumento ang petsa, ipinakitang modelo, account, status ng web/search at iba pang kaugnay na setting.
4
Suriin ang mga nasusukat na limitasyon
Direktang sinusuri ang bilang ng salita, bullet, label at iba pang obhetibong kondisyon. Para maging pare-pareho, binibilang ang mga salitang pinaghihiwalay ng whitespace sa nakikitang sagot. Kasama ang heading, label, pagbati, pangwakas na pagbati at mga notang idinagdag ng modelo; hindi kasama ang mismong Markdown formatting.
5
Bigyan ng magkahiwalay na rating ang C, L at EAR
May malinaw na dahilan ang bawat score. Bago magbigay ng 10/10, muli naming sinusuri ang kaugnay na petsa, numero, dependency, antas ng katiyakan at kahulugan sa halip na ituring na patunay ng perpektong resulta ang kawalan ng kapansin-pansing problema.

Ang iskala na 1–10

1–3

Mahina: malaking bahagi ng hinihingi ang hindi natugunan.

4–6

Bahagya: may mahahalagang kakulangan pa.

7–8

Maganda: malaking bahagi ng hinihingi ang natugunan, pero may problemang may kabuluhang epekto.

9

Napakaganda: halos ganap nang natugunan, na may maliit na problema lamang.

10

Ganap na natugunan sa pagsubok na ito: walang nakitang makabuluhang problema sa dimensiyong ito.

N/A

Ginagamit kapag talagang hindi naaangkop ang isang dimensiyon. Hindi namin ginagawang artipisyal na 10/10 ang “hindi naaangkop”.

Bakit walang iisang score para sa pangkalahatang panalo? Kapag magkahiwalay ang C, L at EAR, mas madaling makita ang mga pagkukulang. Hindi dapat tabunan ng perpektong format score ang mahalagang pagbabago sa kahulugan.

Totoong halimbawa: perpekto ang format, nabago ang kahulugan

Sa Test 2, inatasang ibuod ng apat na AI assistant ang isang project note para sa manager. Nakasaad sa orihinal na source na ang website redesign “is planned for launch on 12 September.” Ganito ito ibinuod ng ChatGPT: “Website redesign launches 12 September.”

Bakit ito mahalaga: Napanatili ang petsa, pero hindi ang status. Ang “planned for launch” ay kondisyunal na impormasyon tungkol sa proyekto; ang “launches” ay nagpapakitang tiyak na mangyayari ang paglulunsad. Sa isang management summary, maaari nitong baguhin nang malaki ang mga desisyon, deadline at inaasahan batay sa aktuwal na status ng proyekto.

Context 10/10

Naunawaan ng sagot na maikling management summary ang gawain at napanatili ang mahahalagang paksa ng proyekto.

Limits 10/10

Hindi lumampas sa 75 salita, gumamit ng eksaktong tatlong bullet, at ginamit ang Status:, Risk:, at Next action: gaya ng hiniling.

EAR 5/10

Maikli at tama ang format ng resulta, pero ginawa nitong tiyak na paglulunsad ang planong paglulunsad. Sa buod para sa manager, binabago nito ang mahalagang status ng proyekto at maaaring magdulot ng maling pagpaplano.

Ito ang dahilan kung bakit hiwalay ang Limits at EAR sa CLEAR: maaaring sundin ng sagot ang lahat ng nakikitang tuntunin sa format pero magkaroon pa rin ng malaking problema sa kalidad ng nilalaman.

Ano ang ginagawa ng CLEAR—at ano ang hindi nito inaangkin

Ginawa ang CLEAR para ipakita

Kung naunawaan ng sagot ang gawain, nasunod ang hinihinging limitasyon, at naihatid ang inaasahang resulta—na may nakikitang dahilan para sa bawat score.

Hindi ginawa ang CLEAR para patunayan

Na totoo ang bawat pahayag, na ang isang AI assistant ay karaniwang “pinakamahusay”, o na ang isang manwal na pagsubok ay siyentipikong benchmark ng modelo.

Kapag mahalaga ang fact-checking, maaaring hiwalay na suriin ang mga source o pahayag at idokumento ang ebidensiya. Nananatiling nakatuon ang CLEAR sa kalidad ng sagot kaugnay ng prompt na talagang sinubukan.

Tingnan ang CLEAR sa mga totoong sagot

Buksan ang Response Quality Tests para ihambing ang 28 sagot na manwal na sinuri gamit ang CLEAR sa limang praktikal na prompt at dalawang bonus test, kasama ang apat na community-rated na sagot sa hiwalay na Fun Prompt.

Ibahagi ang gabay na ito sa CLEAR

Idagdag ang PromptingEasy sa iyong screen

Gamitin ang menu ng browser para i-install ang site na ito o idagdag ito sa home screen.