LLM 컨텍스트 엔지니어링: 프롬프팅, 검색과 RAG

모델이 무엇을 보고 워크플로가 그 정보를 어떻게 사용하는지 제어하세요.

역할, 예시, 프롬프트 체인, 검색된 문서, RAG, 에이전트, temperature, 디코딩 제어가 반복 가능한 LLM 워크플로를 어떻게 만드는지 알아보세요. 이 가이드는 컨텍스트와 제어에 초점을 맞추며, 다음 단계에서는 그 기반 아키텍처를 설명합니다.

역할 프롬프팅 설명

역할 프롬프팅은 모델이 특정 전문적인 관점에서 답하도록 지시하는 방식입니다. 역할은 과장된 설정이 아니라 작업과 관련되어야 합니다. 티켓 워크플로에서는 “선임 고객지원 운영 관리자처럼 행동하세요”가 유용하지만 “천재처럼 행동하세요”는 대개 큰 도움이 되지 않습니다.

예시: 헬프데스크 매크로 예시: “고객지원 품질 책임자 역할을 해 주세요. 이 답변을 더 짧고 친근하며 정책에 맞게 다시 작성하세요. 환불 조건은 변경하지 마세요.”
역할 지시가 있는 프롬프트와 없는 프롬프트를 나란히 비교한 그림.
역할 프롬프팅은 작업 전에 모델에 관점, 어조, 세부 수준을 지정합니다.

Few-shot 프롬프팅 설명

Few-shot 프롬프팅은 입력과 원하는 출력의 예시를 몇 개 제공하는 방식입니다. 형식, 어조, 분류 경계를 말로 설명하기 어려울 때 특히 유용합니다. 길고 추상적인 설명보다 선명한 예시 2~5개가 더 효과적인 경우가 많습니다.

예시: 제품 팀이 정리되지 않은 기능 요청 3개와 이를 정돈한 Jira 티켓 형식 예시를 제공한 뒤, 다음 요청도 같은 구조로 변환해 달라고 모델에 요청합니다.
실제 작업에 답하기 전에 예시가 LLM을 어떻게 안내하는지 보여주는 다이어그램.
Few-shot 프롬프팅은 먼저 예시를 보여줘 원하는 패턴을 모델에 알려줍니다.

프롬프트 체이닝 설명

프롬프트 체이닝은 복잡한 작업을 더 작은 단계로 나눕니다. 조사, 개요, 초안, 비평, 최종본을 한 번에 요청하는 대신 사실 추출 → 구조 만들기 → 초안 작성 → 평가 → 수정의 순서로 실행합니다. 이렇게 하면 제어력이 높아지고 오류를 찾기도 쉬워집니다.

예시: 랜딩 페이지 예시: 1단계 고객의 문제점을 요약합니다. 2단계 페이지 개요를 만듭니다. 3단계 섹션 초안을 작성합니다. 4단계 전환 기준에 따라 비평합니다. 5단계 최종 카피를 만듭니다.
조사, 정리, 초안, 개선 단계로 이루어진 프롬프트 체이닝 다이어그램.
프롬프트 체이닝은 하나의 복잡한 작업을 작은 단계로 나누고 각 출력이 다음 프롬프트의 입력이 되도록 합니다.
반복 가능한 워크플로 만들기

프롬프팅 기법을 테스트하고 개선하고 다시 불러와 재사용할 수 있는 시스템으로 결합하세요.

더 강력한 접근: 프롬프트 운영 체계 설계하기

반복 업무에서 최고의 프롬프트가 영리한 한 문장인 경우는 드뭅니다. 역할, 입력, 출처 규칙, 품질 기준, 출력 형식, 검토 단계를 갖춘 작은 운영 체계처럼 다루세요. 그러면 워크플로를 다른 사람에게 가르치기 쉽고 디버깅도 쉬워집니다.

일회성 프롬프트

“온보딩 이메일을 작성해 주세요.” 모델은 대상 독자, 어조, 제품 세부 정보, 성공 기준을 추측해야 합니다.

프롬프트 운영 체계

“아래의 고객 세그먼트, 제품 약속, 어조 가이드, 금지된 주장, 예시 이메일, 체크리스트를 사용하세요. 초안을 작성하고 자체 검토한 뒤 최종 이메일을 출력하세요.”

실용 예시: SaaS 고객지원 팀은 티켓 분류 → 정책 검색 → 답변 초안 → 근거 없는 주장 확인 → 최종 답변 생성의 체인을 만들 수 있습니다. 각 단계의 역할이 좁고 명확해 오류를 찾기 쉬워집니다.

컨텍스트 엔지니어링 설명

컨텍스트 엔지니어링은 적절한 시점에 어떤 정보를 모델에 넣을지 결정하는 방법론입니다. 출처 선택, 지시 우선순위, 메모리, 검색, 예시, 도구, 출력 스키마 등이 포함됩니다. 목표는 “최대한 많은 컨텍스트”가 아니라 신뢰할 수 있는 최소한의 컨텍스트입니다.

예시: 법률 어시스턴트는 관련 조항, 관할권, 사용자 질문, 출력 제약을 받아야 합니다. 작은 답변 하나를 위해 80페이지짜리 계약서 전체를 매번 받을 필요는 없습니다.

프롬프트 테스트 방법

프롬프트 테스트는 대표적인 예시들에 동일한 작업을 실행하고 출력을 점수화하는 것입니다. 정확성, 완전성, 형식 준수, 어조, 안전성, 편집 시간 같은 평가 기준을 사용하세요. 작은 회귀 테스트 세트를 유지하면 프롬프트 변경이 한 사례를 개선하면서 다른 사례를 망가뜨리는지 알아챌 수 있습니다.

예시: 고객지원 티켓 20개를 프롬프트 변형 3개로 테스트하세요. 정책 정확성과 절약된 시간을 기준으로 각 답변에 1~5점을 매기세요. 가장 좋은 프롬프트가 항상 가장 긴 프롬프트인 것은 아닙니다.

더 나은 AI 답변을 얻는 방법

더 나은 답변은 보통 더 명확한 목표, 더 좋은 컨텍스트, 명시적인 제약 조건, 예시, 검토 단계에서 나옵니다. 모델에 가정을 밝히고 지정한 형식을 사용하며 불확실성을 표시하도록 요청하세요. 중요한 사실은 출처를 제공하거나 검색된 자료에서 인용하도록 요구하세요.

예시: “이것을 분석해 주세요”라고 하기보다 “이 출시 계획에서 위험도가 가장 높은 가정 3개를 찾고, 각각 왜 중요한지 설명한 뒤 이번 주에 실행할 수 있는 테스트를 하나씩 제안해 주세요”라고 요청하세요.

RAG 쉽게 이해하기

RAG는 검색 증강 생성(Retrieval-Augmented Generation)을 뜻합니다. 시스템이 먼저 지식 베이스를 검색하고 관련 구절을 모델에 제공한 다음, 모델이 그 구절을 근거로 답변을 작성합니다. 답변이 비공개 문서, 자주 바뀌는 문서, 대용량 문서에 의존할 때 RAG가 유용합니다. 단순한 글쓰기 작업에는 필요하지 않습니다.

예시: SaaS 고객지원 봇은 답변 초안을 만들기 전에 최신 환불 정책 문단을 검색합니다. 따라서 모델의 기억이나 오래된 예시에 의존하지 않습니다.
사용자 질문에서 검색된 컨텍스트를 거쳐 생성된 답변으로 이어지는 간단한 RAG 흐름.
RAG는 먼저 도움이 되는 정보를 검색한 뒤 모델이 그 컨텍스트를 바탕으로 답합니다.

AI 에이전트란 무엇인가요?

지금까지는 답변 하나를 받는 프롬프트를 작성했습니다. AI 에이전트는 한 단계 더 나아갑니다. 여러 단계를 계획하고, 검색이나 계산기 같은 도구를 사용하고, 결과를 확인한 뒤 다음 행동을 결정하며 작업이 끝날 때까지 이 과정을 반복할 수 있습니다. 길을 묻는 것과 누군가에게 열쇠를 건네 심부름 전체를 맡기는 것의 차이라고 생각하면 됩니다.

에이전트는 원래 여러 개의 개별 프롬프트가 필요한 다단계 작업에 유용합니다. 여러 페이지를 조사한 뒤 요약하거나, 정보를 찾아 그 내용을 바탕으로 답변 초안을 만드는 작업이 예입니다. 대신 제어와의 트레이드오프가 있습니다. 에이전트가 스스로 행동하므로 더 명확한 경계를 주고, 중요한 일이 일어나기 전 검토 단계를 두는 경우가 많습니다. 에이전트, 도구, Large Action Model의 작동 방식에 대한 기술적인 세부 사항은 고급 가이드에서 자세히 다룹니다.

예시: “이 주제의 최근 기사 3개를 찾고 링크와 함께 짧게 요약해 주세요”는 범위가 제한되고 검증 가능하며 위험이 낮아 첫 에이전트 작업으로 적합합니다.

Temperature 쉽게 이해하기

Temperature는 모델이 토큰을 선택할 때 사용하는 무작위성의 정도를 조절합니다. 낮은 temperature는 더 예측 가능하고 일관된 결과를 내는 경향이 있습니다. 높은 temperature는 더 다양하고 창의적일 수 있지만 지시에서 벗어날 가능성도 커질 수 있습니다. 이는 품질 조절 값이 아니라 변형 정도를 조절하는 값입니다.

예시: 송장 정보 추출에는 낮은 temperature를 사용하세요. 브랜드 이름 아이디어 10개를 만들 때는 더 높은 temperature를 사용한 뒤 결과를 선별할 수 있습니다.

모델이 다음 단어를 고르는 방법: greedy, top-k, top-p

Temperature는 더 큰 단계인 디코딩 (또는 샘플링)의 한 가지 조절값입니다. 각 위치에서 모델은 가능한 모든 다음 토큰에 확률을 부여하고, 디코딩 방식이 실제로 어떤 후보를 선택할지 결정합니다. 이러한 설정 때문에 같은 프롬프트도 API 구성에 따라 딱딱하거나 약간 반복적이거나 매우 창의적으로 느껴질 수 있습니다.

엄격한 방식부터 유연한 방식까지 흔히 쓰이는 방법은 다음과 같습니다.

Greedy

각 단계에서 확률이 가장 높은 토큰을 선택합니다. 해당 디코더의 샘플링 무작위성은 제거되지만 모델 버전, 수치 구현, 백엔드 변경, 비결정적 인프라가 달라지면 완전히 동일한 출력이 보장되지는 않습니다.

Top-k

가능성이 가장 높은 k개의 토큰만 남기고, 예를 들어 40개만 유지한 뒤 그중에서 선택합니다. 모델의 확신 정도와 상관없이 후보 목록 크기가 고정됩니다.

Top-p (nucleus)

확률의 합이 p(예: 0.9)에 도달하는 최소 토큰 집합을 유지합니다. 모델의 확신이 높으면 후보 목록이 작아지고, 불확실하면 커집니다.

Min-p

비교적 새로운 옵션으로, 가장 높은 확률의 토큰에 비해 일정 비율 이상의 확률을 가진 토큰만 유지합니다. temperature가 높을 때 top-p보다 안정적인 경향이 있습니다.

이 설정들은 서로 영향을 주지만 정확한 적용 순서와 사용할 수 있는 제어값은 구현에 따라 다릅니다. 일반적인 파이프라인에서는 temperature가 top-k 또는 top-p 필터 전에 로짓을 재조정하지만, 다른 런타임은 프로세서를 다르게 결합하거나 순서를 바꿀 수 있습니다. 일부 제공업체는 temperature 또는 top-p 중 하나만 변경하고 둘을 동시에 바꾸지 말라고 권장합니다. 다만 특정 모델과 API의 문서를 따르세요.

예시: JSON 추출이나 도구 인수에는 제공업체가 지원하는 경우 스키마로 제한된 구조화 출력 또는 함수/도구 호출을 우선하세요. 낮은 temperature는 보조적인 안정성 설정일 수 있지만 검증을 대신할 수는 없습니다. 브레인스토밍에서는 제공업체가 지원하는 샘플링 설정으로 다양성을 높일 수 있습니다. Temperature 0은 “구현이 허용하는 범위에서 최대한 결정적”이라는 뜻이지 절대적인 보장은 아닙니다.
다음 토큰 선택을 위한 greedy, top-k, top-p 디코딩 전략 비교.
Greedy, top-k, top-p 샘플링은 다음 단어를 선택하기 전에 서로 다른 방식으로 후보 토큰을 남깁니다.

다음으로 실제 프롬프트 예시 살펴보기

범용 프롬프트 생성기를 사용해 이러한 AI 개념을 글쓰기, 조사, 업무, 학습, 일상 작업에 활용할 수 있는 실용적인 프롬프트로 바꿔보세요.

이 가이드 공유하기

PromptingEasy를 화면에 추가

브라우저 메뉴에서 이 사이트를 설치하거나 홈 화면에 추가하는 옵션을 선택하세요.