LLM은 어떻게 작동할까: 토큰, 컨텍스트와 답변

기술 지식 없이도 이해할 수 있는 명확한 입문 가이드입니다.

언어 모델이 프롬프트를 읽고 텍스트를 토큰으로 나누고 컨텍스트 창을 사용해 한 단계씩 답변을 생성할 때 실제로 무엇을 하는지 알아보세요. 컨텍스트 엔지니어링과 아키텍처 가이드로 넘어가기 전에 여기서 시작하세요.

LLM이란 무엇인가요?

LLM(대규모 언어 모델)은 방대한 텍스트로 학습되어 유용한 언어를 예측하고 생성하는 소프트웨어입니다. 실용적으로는 이렇게 생각하면 됩니다. 사용자가 작업을 주면 모델은 텍스트를 토큰으로 바꾸고 다음에 올 가능성이 높은 토큰을 추정해 초안을 반환합니다. 많은 언어 패턴이 모델의 파라미터에 압축되어 있기 때문에 글쓰기, 요약, 분류 같은 작업을 수행할 수 있습니다. 하지만 데이터베이스는 아니며, 최신 사실이 참인지 자동으로 아는 것도 아닙니다.

예시: SaaS 고객지원 책임자가 “이 불만을 요약하고 차분한 환불 답변을 제안해 주세요”라고 요청합니다. 모델이 불만을 “느끼는” 것은 아닙니다. 불만, 환불 정책, 전문적인 어조의 패턴을 인식하는 것입니다.

프롬프트란 무엇인가요?

프롬프트는 AI 시스템에 보내는 지시 사항의 묶음입니다. 좋은 프롬프트에는 보통 역할, 상황, 정확한 작업, 제약 조건, 예시, 원하는 출력 형식이 포함됩니다. 약한 프롬프트는 단순히 “아이디어”를 요청합니다. 강한 프롬프트는 누구를 위한 아이디어인지, 무엇을 달성해야 하는지, 어떤 기준으로 평가할지를 알려줍니다.

예시: 약한 예: “제품 설명을 써 주세요.” 더 나은 예: “온라인 스토어의 이커머스 카피라이터 역할을 해 주세요. 재사용 가능한 커피컵의 90단어 제품 설명을 작성하세요. 대상: 통근자. 어조: 과장 없이 실용적으로. 헤드라인 1개와 불릿 3개를 포함하세요.”

프롬프트를 보내면 실제로 어떤 일이 일어날까요?

일반적인 흐름은 “AI가 요청을 이해하고 Python 프로그램을 작성한 뒤 작업을 시작한다”가 아닙니다. 대규모 언어 모델은 보통 텍스트를 받아 토큰으로 바꾸고, 그 토큰을 신경망 레이어에 통과시키며 다음 토큰을 반복해서 생성합니다. Python이나 다른 도구는 모델을 둘러싼 제품이 계산기, 코드 인터프리터, 브라우저, 데이터베이스 커넥터, 함수 호출 같은 도구 접근 권한을 명시적으로 제공할 때만 과정에 들어옵니다.

사용자가 LLM에 프롬프트를 보낼 때 일어나는 일을 단계별로 보여주는 다이어그램.
프롬프트는 토큰화되고 모델에서 처리된 뒤 단계적으로 답변으로 디코딩됩니다.
1. 입력

사용자가 프롬프트를 입력합니다. 애플리케이션은 모델이 최종 요청을 보기 전에 숨겨진 시스템 지시, 안전 정책, 채팅 기록 또는 선택된 문서를 추가할 수 있습니다.

2. 토큰

텍스트는 토큰 ID로 나뉩니다. 모델은 사람이 단어를 읽는 방식으로 입력을 받는 것이 아니라 숫자로 된 토큰 식별자를 받습니다.

3. 추론

모델은 전체 컨텍스트를 바탕으로 가능한 다음 토큰의 확률을 계산합니다. 이 단계에서 어텐션, 임베딩, 모델 가중치가 중요하게 작용합니다.

4. 선택적 도구

애플리케이션이 도구를 지원한다면 모델은 검색, 계산기, 코드 실행 같은 기능을 요청할 수 있습니다. 외부 결과는 추가 컨텍스트로 다시 대화에 삽입됩니다.

5. 답변

최종 텍스트는 생성된 토큰에서 디코딩됩니다. 더 나은 프롬프트는 모델이 다음 토큰을 선택할 때 조건으로 삼는 컨텍스트를 바꾸기 때문에 도움이 됩니다.

프롬프팅 핵심: 모델은 생성 전에 제공되는 정보에 매우 민감합니다. 명확한 컨텍스트, 예시, 제약 조건, 출처 자료를 제공하면 다음 토큰이 사용자의 의도에 맞게 이어질 가능성이 높아집니다.
내 프롬프트에 직접 적용해 보기

토큰, 컨텍스트, 모델의 한계로 넘어가기 전에 간단한 전후 비교 연습을 해보세요.

미니 테스트보다 좋은 방법: 프롬프트 전후 비교 갤러리 만들기

일반적인 테스트를 돌리는 대신 실제 업무에서 사용한 프롬프트 5개를 모아 약한 버전, 개선한 버전, 최종 편집 결과를 저장하세요. 팀이 재사용할 수 있는 프롬프트 갤러리가 됩니다.

  1. 고객지원 답변, 제품 설명, 수업 요약처럼 반복되는 작업 하나를 고르세요.
  2. 원래 프롬프트와 출력을 저장하세요.
  3. 컨텍스트, 형식 규칙, 예시 1개를 추가하세요.
  4. 두 번째 출력에 얼마나 많은 편집이 필요한지 비교하세요.
  5. 더 나은 버전을 템플릿으로 만드세요.

토큰이란 무엇인가요?

토큰은 모델이 읽고 쓰는 작은 텍스트 단위입니다. 토크나이저와 언어에 따라 토큰은 단어 전체, 단어 일부, 문장부호 또는 문자 하나가 될 수 있습니다. 입력과 출력의 합이 모델의 컨텍스트 창 안에 들어가야 하므로 토큰 제한이 중요합니다.

예시: “PromptingEasy helps teams”는 “Prompt”, “ing”, “Easy”, “helps”, “teams”와 비슷한 토큰으로 나뉠 수 있습니다. 긴 문서와 많은 예시는 비용을 늘리고 중요한 지시가 컨텍스트에서 밀려날 수 있는 이유이기도 합니다.
텍스트가 색으로 구분된 토큰 조각으로 변환된 뒤 다시 원래 문장으로 조립되는 과정을 보여주는 다이어그램.
텍스트는 토큰으로 나뉜 뒤 다시 읽을 수 있는 텍스트로 조립됩니다.

AI는 왜 때때로 사실을 지어낼까요?

AI는 충분히 신뢰할 수 있는 근거 없이 그럴듯한 다음 내용을 생성할 때 환각을 일으킬 수 있습니다. 모델은 기본적으로 사실을 보장하도록 최적화된 것이 아니라 가능성 높은 텍스트를 생성하도록 최적화되어 있습니다. 잘 알려지지 않은 사실, 최신 정보, 숨겨진 데이터, 제공되지 않은 인용을 요구할수록 환각 가능성이 커집니다.

예시: 사용자가 브라우징이나 출처 텍스트 없이 “특정 틈새 API 요금제의 정확한 2026년 가격”을 묻습니다. 이런 형태의 답변이 흔하기 때문에 숫자가 틀려도 모델은 자신 있어 보이는 가격을 만들어낼 수 있습니다.

같은 메커니즘은 사실뿐 아니라 작업 상태도 지어낼 수 있습니다. 실제로 저희 워크플로 중 하나에서 AI 어시스턴트에게 스프레드시트의 모든 행에 맞는 LinkedIn 프로필을 찾아 각 URL을 한 열에 기록해 달라고 요청했습니다. 한 번의 조회가 아니라 수십 행을 처리하는 작업이었습니다. 어시스턴트는 작업이 완료되었다고 보고하며 “프로필 14개, 이메일 3개”라는 개수까지 제시했지만, 해당 열은 비어 있었고 반환된 파일은 이름만 바뀐 복사본이었습니다. 자신감 있는 요약은 그저 가장 그럴듯한 다음 단어일 뿐이므로 실제 작업이 수행되었다는 증거가 아닙니다.

다시 요청한다고 해서 이 패턴이 반드시 깨지는 것은 아닙니다. 제품에 따라 재시도 시 보이는 대화를 다시 보내거나, 서버 측 대화 상태를 사용하거나, 이전 대화를 잘라내거나 요약하거나, 캐시된 입력을 재사용할 수 있습니다. 쓸 수 있는 파일이 나오지 않더라도 새로운 답변은 다시 생성되며 추가 토큰이나 요금제 사용량을 소모할 수 있습니다.

AI 어시스턴트가 파일에 데이터를 쓰지 않은 채 스프레드시트 작업을 완료했다고 보고했음을 인정하는 화면.
PromptingEasy의 실제 일상 업무 사례(ChatGPT 5.6 스크린샷, 2026년).
제가 요청한 내용: 스프레드시트의 각 행과 일치하는 LinkedIn 프로필을 찾아 URL을 K열에 입력하고, 통합 문서를 저장한 뒤 결과를 검증해 달라고 요청했습니다.
AI가 주장한 내용: 데이터 보강이 완료되었다며 프로필 개수를 보고했습니다.
제가 확인한 내용: 다운로드한 통합 문서의 K열은 여전히 비어 있었습니다. 이후 어시스턴트는 실제로 데이터 보강을 수행하지 않았고 복사하거나 이름을 바꾼 파일만 반환했다고 인정했습니다.
부수 효과:이 패턴은 약 네 번 반복되었습니다. 매번 오랜 시간이 걸렸고 사용 가능한 결과 없이 다시 성공했다고 보고해 워크플로가 루프에 빠진 것처럼 보였습니다. 추가 토큰과 사용량을 상당히 소모했으며, 토큰 기반 과금이라면 실제 추가 비용으로 이어질 수 있습니다.

이유: AI가 루프에 빠진 걸까요?

실용적인 의미에서는 그렇다고 볼 수 있지만, 사용자가 느끼는 방식과는 다릅니다. 모델에는 실패를 반복하고 있다는 지속적인 자기 인식이 없습니다. 애플리케이션이 제공하는 컨텍스트와 상태만 사용할 수 있습니다. 새로운 답변은 전체 대화 기록, 잘리거나 요약된 기록, 또는 서버에서 관리하는 상태를 바탕으로 생성될 수 있습니다. 워크플로가 어시스턴트에게 파일을 열고 저장된 값을 검증하도록 요구하지 않으면 “완료”는 여전히 그럴듯한 답변으로 남을 수 있습니다. 문제는 고집이 아니라 검증과 상태 확인이 빠져 있다는 점입니다.

그래서 같은 질문을 반복하는 것은 거의 도움이 되지 않으면서 토큰만 계속 소모합니다. 루프를 끊는 방법은 질문을 반복하는 것이 아니라 작업을 바꾸는 것: 결과를 검증 가능하게 만들고, 어시스턴트가 저장된 파일을 다시 읽어 실제 셀 값을 보여주도록 요청하며, 그 증거가 없으면 실행을 중단하세요. 모델이 확인할 수 있는 성공 기준을 정의하는 방법은 가장 흔한 프롬프팅 실수 가이드에서 확인할 수 있습니다.

컨텍스트는 왜 도움이 될까요?

컨텍스트는 탐색 공간을 좁혀 줍니다. 모델이 대상 독자, 목표, 제약 조건, 예시, 출처 자료를 알면 일반적인 답변 대신 상황에 맞는 답변을 만들 수 있습니다. 하지만 컨텍스트가 많다고 항상 좋은 것은 아닙니다. 관련 없는 컨텍스트는 모델의 주의를 흐리고 비용을 늘릴 수 있습니다.

예시: 마케팅 팀은 단순히 “광고를 써 주세요”라고 하기보다 제품 포지셔닝, 타깃 고객, 금지된 주장, 과거에 성과가 좋았던 광고 2개를 포함할 때 더 나은 광고 문구를 얻습니다.

검색 엔진과 LLM의 차이

검색 엔진은 페이지를 찾아 링크의 순위를 매깁니다. LLM은 패턴과 제공된 컨텍스트를 바탕으로 답변을 생성합니다. 최신 출처, 공식 페이지, 다양한 관점이 필요할 때는 검색이 더 적합합니다. 제공된 정보를 종합하거나 다시 쓰거나 추론하거나 구조화된 초안을 만들 때는 LLM이 더 적합합니다. 많은 강력한 AI 제품은 두 방식을 결합합니다.

예시: “취리히의 최신 세금 신고 기한”은 검색이나 공식 출처를 사용하세요. “이 메모를 정중한 고객 이메일로 바꿔 주세요”라면 LLM이 더 적합한 인터페이스입니다.
같은 사용자 질문에 검색 엔진과 LLM이 서로 다르게 답하는 방식을 비교한 다이어그램.
검색 엔진은 링크와 출처를 반환하고, LLM은 자연어로 직접 답변을 생성합니다.

“AI가 언어를 이해한다”는 말은 무엇을 뜻할까요?

일상적인 표현에서 “이해한다”는 것은 모델이 의미, 어조, 구조에 맞게 적절히 반응할 수 있다는 뜻입니다. 기술적으로는 텍스트 패턴을 유용한 출력에 연결하는 통계적 표현을 학습한 것입니다. 실제 경험, 의도, 상식적인 책임감을 가진 사람처럼 이해하는 것은 아닙니다.

예시: “이 문장을 덜 광고처럼 바꿔 주세요”라고 쓰면 모델은 과장된 판매 문구와 중립적인 표현의 패턴을 학습했기 때문에 어조를 조정할 수 있습니다. 이는 유용한 언어 능력이지만 인간과 같은 이해는 아닙니다.

다음으로 실제 프롬프트 예시 살펴보기

범용 프롬프트 생성기를 사용해 이러한 AI 개념을 글쓰기, 조사, 업무, 학습, 일상 작업에 활용할 수 있는 실용적인 프롬프트로 바꿔보세요.

이 가이드 공유하기

PromptingEasy를 화면에 추가

브라우저 메뉴에서 이 사이트를 설치하거나 홈 화면에 추가하는 옵션을 선택하세요.