역할 프롬프팅 설명
역할 프롬프팅은 모델이 특정 전문적인 관점에서 답하도록 지시하는 방식입니다. 역할은 과장된 설정이 아니라 작업과 관련되어야 합니다. 티켓 워크플로에서는 “선임 고객지원 운영 관리자처럼 행동하세요”가 유용하지만 “천재처럼 행동하세요”는 대개 큰 도움이 되지 않습니다.

Few-shot 프롬프팅 설명
Few-shot 프롬프팅은 입력과 원하는 출력의 예시를 몇 개 제공하는 방식입니다. 형식, 어조, 분류 경계를 말로 설명하기 어려울 때 특히 유용합니다. 길고 추상적인 설명보다 선명한 예시 2~5개가 더 효과적인 경우가 많습니다.

프롬프트 체이닝 설명
프롬프트 체이닝은 복잡한 작업을 더 작은 단계로 나눕니다. 조사, 개요, 초안, 비평, 최종본을 한 번에 요청하는 대신 사실 추출 → 구조 만들기 → 초안 작성 → 평가 → 수정의 순서로 실행합니다. 이렇게 하면 제어력이 높아지고 오류를 찾기도 쉬워집니다.

프롬프팅 기법을 테스트하고 개선하고 다시 불러와 재사용할 수 있는 시스템으로 결합하세요.
더 강력한 접근: 프롬프트 운영 체계 설계하기
반복 업무에서 최고의 프롬프트가 영리한 한 문장인 경우는 드뭅니다. 역할, 입력, 출처 규칙, 품질 기준, 출력 형식, 검토 단계를 갖춘 작은 운영 체계처럼 다루세요. 그러면 워크플로를 다른 사람에게 가르치기 쉽고 디버깅도 쉬워집니다.
“온보딩 이메일을 작성해 주세요.” 모델은 대상 독자, 어조, 제품 세부 정보, 성공 기준을 추측해야 합니다.
“아래의 고객 세그먼트, 제품 약속, 어조 가이드, 금지된 주장, 예시 이메일, 체크리스트를 사용하세요. 초안을 작성하고 자체 검토한 뒤 최종 이메일을 출력하세요.”
컨텍스트 엔지니어링 설명
컨텍스트 엔지니어링은 적절한 시점에 어떤 정보를 모델에 넣을지 결정하는 방법론입니다. 출처 선택, 지시 우선순위, 메모리, 검색, 예시, 도구, 출력 스키마 등이 포함됩니다. 목표는 “최대한 많은 컨텍스트”가 아니라 신뢰할 수 있는 최소한의 컨텍스트입니다.
프롬프트 테스트 방법
프롬프트 테스트는 대표적인 예시들에 동일한 작업을 실행하고 출력을 점수화하는 것입니다. 정확성, 완전성, 형식 준수, 어조, 안전성, 편집 시간 같은 평가 기준을 사용하세요. 작은 회귀 테스트 세트를 유지하면 프롬프트 변경이 한 사례를 개선하면서 다른 사례를 망가뜨리는지 알아챌 수 있습니다.
더 나은 AI 답변을 얻는 방법
더 나은 답변은 보통 더 명확한 목표, 더 좋은 컨텍스트, 명시적인 제약 조건, 예시, 검토 단계에서 나옵니다. 모델에 가정을 밝히고 지정한 형식을 사용하며 불확실성을 표시하도록 요청하세요. 중요한 사실은 출처를 제공하거나 검색된 자료에서 인용하도록 요구하세요.
RAG 쉽게 이해하기
RAG는 검색 증강 생성(Retrieval-Augmented Generation)을 뜻합니다. 시스템이 먼저 지식 베이스를 검색하고 관련 구절을 모델에 제공한 다음, 모델이 그 구절을 근거로 답변을 작성합니다. 답변이 비공개 문서, 자주 바뀌는 문서, 대용량 문서에 의존할 때 RAG가 유용합니다. 단순한 글쓰기 작업에는 필요하지 않습니다.

AI 에이전트란 무엇인가요?
지금까지는 답변 하나를 받는 프롬프트를 작성했습니다. AI 에이전트는 한 단계 더 나아갑니다. 여러 단계를 계획하고, 검색이나 계산기 같은 도구를 사용하고, 결과를 확인한 뒤 다음 행동을 결정하며 작업이 끝날 때까지 이 과정을 반복할 수 있습니다. 길을 묻는 것과 누군가에게 열쇠를 건네 심부름 전체를 맡기는 것의 차이라고 생각하면 됩니다.
에이전트는 원래 여러 개의 개별 프롬프트가 필요한 다단계 작업에 유용합니다. 여러 페이지를 조사한 뒤 요약하거나, 정보를 찾아 그 내용을 바탕으로 답변 초안을 만드는 작업이 예입니다. 대신 제어와의 트레이드오프가 있습니다. 에이전트가 스스로 행동하므로 더 명확한 경계를 주고, 중요한 일이 일어나기 전 검토 단계를 두는 경우가 많습니다. 에이전트, 도구, Large Action Model의 작동 방식에 대한 기술적인 세부 사항은 고급 가이드에서 자세히 다룹니다.
Temperature 쉽게 이해하기
Temperature는 모델이 토큰을 선택할 때 사용하는 무작위성의 정도를 조절합니다. 낮은 temperature는 더 예측 가능하고 일관된 결과를 내는 경향이 있습니다. 높은 temperature는 더 다양하고 창의적일 수 있지만 지시에서 벗어날 가능성도 커질 수 있습니다. 이는 품질 조절 값이 아니라 변형 정도를 조절하는 값입니다.
모델이 다음 단어를 고르는 방법: greedy, top-k, top-p
Temperature는 더 큰 단계인 디코딩 (또는 샘플링)의 한 가지 조절값입니다. 각 위치에서 모델은 가능한 모든 다음 토큰에 확률을 부여하고, 디코딩 방식이 실제로 어떤 후보를 선택할지 결정합니다. 이러한 설정 때문에 같은 프롬프트도 API 구성에 따라 딱딱하거나 약간 반복적이거나 매우 창의적으로 느껴질 수 있습니다.
엄격한 방식부터 유연한 방식까지 흔히 쓰이는 방법은 다음과 같습니다.
각 단계에서 확률이 가장 높은 토큰을 선택합니다. 해당 디코더의 샘플링 무작위성은 제거되지만 모델 버전, 수치 구현, 백엔드 변경, 비결정적 인프라가 달라지면 완전히 동일한 출력이 보장되지는 않습니다.
가능성이 가장 높은 k개의 토큰만 남기고, 예를 들어 40개만 유지한 뒤 그중에서 선택합니다. 모델의 확신 정도와 상관없이 후보 목록 크기가 고정됩니다.
확률의 합이 p(예: 0.9)에 도달하는 최소 토큰 집합을 유지합니다. 모델의 확신이 높으면 후보 목록이 작아지고, 불확실하면 커집니다.
비교적 새로운 옵션으로, 가장 높은 확률의 토큰에 비해 일정 비율 이상의 확률을 가진 토큰만 유지합니다. temperature가 높을 때 top-p보다 안정적인 경향이 있습니다.
이 설정들은 서로 영향을 주지만 정확한 적용 순서와 사용할 수 있는 제어값은 구현에 따라 다릅니다. 일반적인 파이프라인에서는 temperature가 top-k 또는 top-p 필터 전에 로짓을 재조정하지만, 다른 런타임은 프로세서를 다르게 결합하거나 순서를 바꿀 수 있습니다. 일부 제공업체는 temperature 또는 top-p 중 하나만 변경하고 둘을 동시에 바꾸지 말라고 권장합니다. 다만 특정 모델과 API의 문서를 따르세요.
