LLM Context Engineering: Prompting, Retrieval at RAG

Kontrolin kung anong impormasyon ang nakikita ng model at kung paano ito ginagamit sa workflow.

Alamin kung paano nakakatulong ang mga role, halimbawa, prompt chain, nakuhang dokumento, RAG, agent, temperature at decoding control sa isang LLM workflow na puwedeng ulitin. Nakatuon ang gabay na ito sa context at pagkontrol; ipinaliliwanag ng susunod na antas ang arkitekturang nasa likod ng mga ito.

Paliwanag sa role prompting

Sa role prompting, hinihiling mong sumagot ang model mula sa isang partikular na propesyonal na pananaw. Dapat may kaugnayan sa gawain ang role, hindi pang-arte lang. Kapaki-pakinabang ang “Gumanap bilang senior support operations manager” sa pagproseso ng mga ticket; karaniwang kaunti lang ang naidudulot ng “Gumanap bilang henyo.”

Halimbawa: Para sa helpdesk macro: “Gumanap bilang support quality lead. Isulat muli ang sagot na ito para maging mas maikli, mas magiliw at naaayon sa policy. Huwag baguhin ang kondisyon sa refund.”
Magkatabing paghahambing ng prompting na mayroon at walang tagubilin tungkol sa role.
Nagbibigay ang role prompting ng pananaw, tono at antas ng detalye sa model bago pa ang gawain.

Paliwanag sa few-shot prompting

Sa few-shot prompting, nagbibigay ka ng ilang halimbawa ng input at ng nais na output. Lalo itong kapaki-pakinabang kapag mahirap ilarawan ang format, tono o hangganan ng mga kategorya. Madalas na mas mabuti ang dalawa hanggang limang malinaw na halimbawa kaysa sa mahabang abstraktong paliwanag.

Halimbawa: Nagbibigay ang isang product team ng tatlong halimbawa ng magulong feature request at ang inayos na format ng Jira ticket para sa bawat isa. Pagkatapos, hinihiling nito sa model na i-convert ang susunod na request sa parehong istruktura.
Diagram kung paano ginagabayan ng mga halimbawa ang LLM bago nito sagutin ang tunay na gawain.
Ipinapakita muna ng few-shot prompting ang mga halimbawa para matutuhan ng model ang nais na pattern.

Paliwanag sa prompt chaining

Hinahati ng prompt chaining ang isang komplikadong gawain sa mas maliliit na hakbang. Sa halip na sabay na humingi ng research, outline, draft, critique at pinal na bersyon, sinusunod mo ang isang serye: kunin ang mga katotohanan, buuin ang istruktura, sumulat ng draft, suriin at baguhin. Mas madali nitong kontrolin ang proseso at mapansin ang mga pagkakamali.

Halimbawa: Para sa isang landing page: Hakbang 1, ibuod ang mga problema ng customer. Hakbang 2, gumawa ng page outline. Hakbang 3, isulat ang mga seksyon. Hakbang 4, suriin ayon sa conversion criteria. Hakbang 5, buuin ang pinal na copy.
Diagram ng prompt chaining: pananaliksik, pag-aayos, paggawa ng draft at pagpapahusay.
Hinahati ng prompt chaining ang komplikadong gawain sa mga hakbang; ang output ng bawat hakbang ang nagiging input ng susunod na prompt.
Bumuo ng workflow na puwedeng ulitin

Pagsamahin ang mga paraan ng prompting sa mga sistemang puwede mong subukan, paghusayin, hanapin muli at gamitin ulit.

Mas mahusay na ideya: magdisenyo ng prompt operating system

Para sa mga paulit-ulit na gawain, bihirang sapat ang isang matalinong pangungusap lang. Ituring ang prompt na isang maliit na operating system: role, mga input, tuntunin sa source, pamantayan ng kalidad, format ng output at hakbang sa pag-review. Sa ganitong paraan, mas madaling ituro at i-debug ang workflow.

Isang beses na prompt

“Isulat ang onboarding email namin.” Manghuhula ang model tungkol sa audience, tono, detalye ng produkto at pamantayan ng tagumpay.

Prompt operating system

“Gamitin ang customer segment, pangako ng produkto, tone guide, mga ipinagbabawal na claim, halimbawang email at checklist sa ibaba. Gumawa ng draft, suriin ito, saka ilabas ang pinal na email.”

Praktikal na halimbawa: puwedeng pagdugtungin ng isang SaaS support team ang mga hakbang: uriin ang ticket → kunin ang policy → gumawa ng draft na sagot → tingnan kung may claim na walang batayan → ibigay ang pinal na sagot. Mas tiyak ang tungkulin ng bawat hakbang, kaya mas madaling makita ang pagkakamali.

Paliwanag sa context engineering

Ang context engineering ay ang maingat na pagpili kung aling impormasyon ang ipapasok sa model at kailan ito ipapasok. Kasama rito ang pagpili ng source, hierarchy ng mga tagubilin, memory, retrieval, mga halimbawa, tool at output schema. Hindi “pinakamaraming context” ang layunin, kundi ang pinakamaliit na context na mapagkakatiwalaan.

Halimbawa: Dapat makatanggap ang isang legal assistant ng nauugnay na clause, hurisdiksiyon, tanong ng user at mga limitasyon sa output — hindi ng buong 80-pahinang kontrata para sa bawat maliit na tanong.

Paano subukan ang mga prompt

Sa prompt testing, pinapatakbo ang parehong gawain sa mga halimbawang kumakatawan sa tunay na paggamit at binibigyan ng score ang mga output. Gumamit ng rubric: katumpakan, pagkakumpleto, pagsunod sa format, tono, kaligtasan at oras ng pag-edit. Magtabi ng maliit na regression set para mapansin kung ang pagbabago sa prompt ay nagpapahusay sa isang kaso pero nakakasira sa iba.

Halimbawa: Subukan ang 20 support ticket gamit ang tatlong bersyon ng prompt. Bigyan ng score na 1–5 ang bawat sagot batay sa pagiging tama ayon sa policy at oras na natipid. Hindi laging ang pinakamahabang prompt ang pinakamahusay.

Paano makakuha ng mas mahusay na sagot mula sa AI

Karaniwang nagmumula ang mas magagandang sagot sa mas malinaw na layunin, mas magandang context, tahasang limitasyon, mga halimbawa at hakbang sa pag-review. Hilingin sa model na sabihin ang mga palagay nito, gumamit ng tinukoy na format at markahan ang mga hindi tiyak. Para sa mahahalagang katotohanan, magbigay ng sources o humingi ng citations mula sa mga nakuhang materyal.

Halimbawa: Sa halip na “suriin ito,” itanong: “Hanapin ang tatlong palagay na may pinakamataas na panganib sa launch plan na ito, ipaliwanag kung bakit mahalaga ang bawat isa, at magbigay ng isang test na puwede naming gawin ngayong linggo.”

Simpleng paliwanag sa RAG

Ang RAG ay retrieval-augmented generation. Una, naghahanap ang system sa isang knowledge base. Pagkatapos, ipinapasa nito ang mga nauugnay na sipi sa model, na siyang sumusulat ng sagot batay sa mga siping iyon. Kapaki-pakinabang ang RAG kapag nakadepende ang sagot sa pribado, nagbabago o malalaking dokumento. Hindi ito kailangan para sa simpleng gawaing pagsusulat.

Halimbawa: Kinukuha ng isang SaaS support bot ang pinakabagong talata ng refund policy bago bumuo ng sagot, para hindi ito umasa sa memory o lumang halimbawa.
Simpleng daloy ng RAG mula sa tanong ng user hanggang sa nakuhang context at nabuong sagot.
Kinukuha muna ng RAG ang kapaki-pakinabang na impormasyon bago sumagot ang model gamit ang context na iyon.

Ano ang mga AI agent?

Sa ngayon, ang mga prompt na isinulat mo ay humihingi ng isang sagot. Mas malayo ang kayang gawin ng AI agent: makakaplano ito ng ilang hakbang, makakagamit ng mga tool (gaya ng search o calculator), makakatingin sa resulta at makakapagpasya sa susunod na gagawin — paulit-ulit hanggang matapos ang gawain. Para itong pagkakaiba ng paghingi ng direksiyon at pagbibigay sa isang tao ng susi para siya mismo ang gumawa ng iniuutos.

Kapaki-pakinabang ang mga agent para sa mga gawaing may maraming hakbang na kung hindi ay mangangailangan ng maraming magkahiwalay na prompt: magsaliksik sa ilang pahina at saka magbuod, o maghanap muna ng impormasyon bago sumulat ng tugon batay rito. Kapalit nito ang mas kaunting direktang kontrol — dahil may sariling aksiyon ang agent, kailangan mong magtakda ng malinaw na hangganan at kadalasang mag-review bago may mangyaring mahalaga. Para sa teknikal na detalye kung paano gumagana ang mga agent, tool at Large Action Model, mas malalim itong tinatalakay sa advanced na gabay.

Halimbawa: “Maghanap ng tatlong kamakailang artikulo tungkol dito, saka sumulat ng maikling buod na may mga link” ay magandang unang gawain para sa agent — malinaw ang saklaw, masusuri at mababa ang panganib.

Simpleng paliwanag sa temperature

Kinokontrol ng temperature kung gaano kalaki ang randomness sa pagpili ng model ng mga token. Karaniwang mas predictable at consistent ang mas mababang temperature. Maaaring mas iba-iba at mas malikhain ang sagot sa mas mataas na temperature, pero maaari rin itong mas lumayo sa tagubilin. Hindi ito kontrol para sa kalidad; kontrol ito para sa pagkakaiba-iba.

Halimbawa: Para sa pagkuha ng data mula sa invoice, gumamit ng mababang temperature. Para sa sampung ideya ng brand name, gumamit ng mas mataas na temperature at saka piliin ang angkop na resulta.

Paano pinipili ng model ang bawat salita: greedy, top-k at top-p

Isa lamang ang temperature sa mga control ng mas malawak na prosesong tinatawag na decoding (o sampling). Sa bawat posisyon, binibigyan ng model ng probability ang bawat posibleng susunod na token, at ang paraan ng decoding ang nagpapasya kung aling kandidato ang pipiliin. Ipinapaliwanag ng mga setting na ito kung bakit maaaring magmukhang sobrang istrikto, medyo paulit-ulit o napakalikhain ang parehong prompt depende sa configuration ng API.

Mga karaniwang paraan, mula sa pinakaistrikto hanggang sa mas flexible:

Greedy

Pinipili ang token na may pinakamataas na probability sa bawat hakbang. Tinatanggal nito ang randomness ng sampling para sa decoder na iyon, pero hindi garantisadong magkakapareho ang output sa iba’t ibang bersyon ng model, numerical implementation, pagbabago sa backend o nondeterministic na infrastructure.

Top-k

Ang k lang na pinaka-malamang na token ang natitira — halimbawa, 40 — at mula sa mga ito pipili. Pare-pareho ang laki ng shortlist kahit gaano katiyak ang model.

Top-p (nucleus)

Pinananatili ang pinakamaliit na hanay ng mga token na ang kabuuang probability ay umaabot sa p, halimbawa ay 0.9. Umiikli ang shortlist kapag kumpiyansa ang model at humahaba kapag hindi ito tiyak.

Min-p

Mas bagong opsiyon: pinananatili ang mga token na may probability na hindi bababa sa itinakdang bahagi ng probability ng nangungunang token. Karaniwang mas stable ito kaysa top-p kapag mataas ang temperature.

Nagkakaugnay ang mga setting na ito, pero nakadepende sa implementation ang eksaktong pagkakasunod-sunod at kung aling control ang available. Sa isang karaniwang pipeline, binabago ng temperature ang laki ng logits bago ang top-k o top-p filter; maaaring iba ang pag-ayos o pagsasama ng mga processor sa ibang runtime. Inirerekomenda ng ilang provider na baguhin ang temperature o top-p sa halip na pareho, pero sundin ang dokumentasyon para sa partikular na model at API.

Halimbawa: Para sa JSON extraction o tool arguments, mas mainam ang structured output na may schema constraint o function/tool calling kung sinusuportahan ito ng provider. Maaaring makatulong ang mababang temperature sa stability, pero hindi ito kapalit ng validation. Para sa brainstorming, maaaring magdagdag ng variety ang sampling setting na sinusuportahan ng provider. Ang temperature 0 ay nangangahulugang “kasing-deterministic ng pinapayagan ng implementation,” hindi isang ganap na garantiya.
Paghahambing ng greedy, top-k at top-p decoding para sa pagpili ng susunod na token.
Iba-ibang kandidato ng susunod na token ang pinananatili ng greedy, top-k at top-p sampling bago pumili ng susunod na salita.

Susunod, tuklasin ang mga tunay na halimbawa ng prompt

Gamitin ang universal prompt generator para gawing praktikal na prompt ang mga konseptong ito ng AI para sa pagsusulat, pananaliksik, trabaho, pag-aaral at pang-araw-araw na gawain.

Share this guide

Idagdag ang PromptingEasy sa iyong screen

Gamitin ang menu ng browser para i-install ang site na ito o idagdag ito sa home screen.