LLM이란 무엇인가요?
LLM(대규모 언어 모델)은 방대한 텍스트로 학습되어 유용한 언어를 예측하고 생성하는 소프트웨어입니다. 실용적으로는 이렇게 생각하면 됩니다. 사용자가 작업을 주면 모델은 텍스트를 토큰으로 바꾸고 다음에 올 가능성이 높은 토큰을 추정해 초안을 반환합니다. 많은 언어 패턴이 모델의 파라미터에 압축되어 있기 때문에 글쓰기, 요약, 분류 같은 작업을 수행할 수 있습니다. 하지만 데이터베이스는 아니며, 최신 사실이 참인지 자동으로 아는 것도 아닙니다.
프롬프트란 무엇인가요?
프롬프트는 AI 시스템에 보내는 지시 사항의 묶음입니다. 좋은 프롬프트에는 보통 역할, 상황, 정확한 작업, 제약 조건, 예시, 원하는 출력 형식이 포함됩니다. 약한 프롬프트는 단순히 “아이디어”를 요청합니다. 강한 프롬프트는 누구를 위한 아이디어인지, 무엇을 달성해야 하는지, 어떤 기준으로 평가할지를 알려줍니다.
프롬프트를 보내면 실제로 어떤 일이 일어날까요?
일반적인 흐름은 “AI가 요청을 이해하고 Python 프로그램을 작성한 뒤 작업을 시작한다”가 아닙니다. 대규모 언어 모델은 보통 텍스트를 받아 토큰으로 바꾸고, 그 토큰을 신경망 레이어에 통과시키며 다음 토큰을 반복해서 생성합니다. Python이나 다른 도구는 모델을 둘러싼 제품이 계산기, 코드 인터프리터, 브라우저, 데이터베이스 커넥터, 함수 호출 같은 도구 접근 권한을 명시적으로 제공할 때만 과정에 들어옵니다.

사용자가 프롬프트를 입력합니다. 애플리케이션은 모델이 최종 요청을 보기 전에 숨겨진 시스템 지시, 안전 정책, 채팅 기록 또는 선택된 문서를 추가할 수 있습니다.
텍스트는 토큰 ID로 나뉩니다. 모델은 사람이 단어를 읽는 방식으로 입력을 받는 것이 아니라 숫자로 된 토큰 식별자를 받습니다.
모델은 전체 컨텍스트를 바탕으로 가능한 다음 토큰의 확률을 계산합니다. 이 단계에서 어텐션, 임베딩, 모델 가중치가 중요하게 작용합니다.
애플리케이션이 도구를 지원한다면 모델은 검색, 계산기, 코드 실행 같은 기능을 요청할 수 있습니다. 외부 결과는 추가 컨텍스트로 다시 대화에 삽입됩니다.
최종 텍스트는 생성된 토큰에서 디코딩됩니다. 더 나은 프롬프트는 모델이 다음 토큰을 선택할 때 조건으로 삼는 컨텍스트를 바꾸기 때문에 도움이 됩니다.
토큰, 컨텍스트, 모델의 한계로 넘어가기 전에 간단한 전후 비교 연습을 해보세요.
미니 테스트보다 좋은 방법: 프롬프트 전후 비교 갤러리 만들기
일반적인 테스트를 돌리는 대신 실제 업무에서 사용한 프롬프트 5개를 모아 약한 버전, 개선한 버전, 최종 편집 결과를 저장하세요. 팀이 재사용할 수 있는 프롬프트 갤러리가 됩니다.
- 고객지원 답변, 제품 설명, 수업 요약처럼 반복되는 작업 하나를 고르세요.
- 원래 프롬프트와 출력을 저장하세요.
- 컨텍스트, 형식 규칙, 예시 1개를 추가하세요.
- 두 번째 출력에 얼마나 많은 편집이 필요한지 비교하세요.
- 더 나은 버전을 템플릿으로 만드세요.
토큰이란 무엇인가요?
토큰은 모델이 읽고 쓰는 작은 텍스트 단위입니다. 토크나이저와 언어에 따라 토큰은 단어 전체, 단어 일부, 문장부호 또는 문자 하나가 될 수 있습니다. 입력과 출력의 합이 모델의 컨텍스트 창 안에 들어가야 하므로 토큰 제한이 중요합니다.

AI는 왜 때때로 사실을 지어낼까요?
AI는 충분히 신뢰할 수 있는 근거 없이 그럴듯한 다음 내용을 생성할 때 환각을 일으킬 수 있습니다. 모델은 기본적으로 사실을 보장하도록 최적화된 것이 아니라 가능성 높은 텍스트를 생성하도록 최적화되어 있습니다. 잘 알려지지 않은 사실, 최신 정보, 숨겨진 데이터, 제공되지 않은 인용을 요구할수록 환각 가능성이 커집니다.
같은 메커니즘은 사실뿐 아니라 작업 상태도 지어낼 수 있습니다. 실제로 저희 워크플로 중 하나에서 AI 어시스턴트에게 스프레드시트의 모든 행에 맞는 LinkedIn 프로필을 찾아 각 URL을 한 열에 기록해 달라고 요청했습니다. 한 번의 조회가 아니라 수십 행을 처리하는 작업이었습니다. 어시스턴트는 작업이 완료되었다고 보고하며 “프로필 14개, 이메일 3개”라는 개수까지 제시했지만, 해당 열은 비어 있었고 반환된 파일은 이름만 바뀐 복사본이었습니다. 자신감 있는 요약은 그저 가장 그럴듯한 다음 단어일 뿐이므로 실제 작업이 수행되었다는 증거가 아닙니다.
다시 요청한다고 해서 이 패턴이 반드시 깨지는 것은 아닙니다. 제품에 따라 재시도 시 보이는 대화를 다시 보내거나, 서버 측 대화 상태를 사용하거나, 이전 대화를 잘라내거나 요약하거나, 캐시된 입력을 재사용할 수 있습니다. 쓸 수 있는 파일이 나오지 않더라도 새로운 답변은 다시 생성되며 추가 토큰이나 요금제 사용량을 소모할 수 있습니다.

제가 요청한 내용: 스프레드시트의 각 행과 일치하는 LinkedIn 프로필을 찾아 URL을 K열에 입력하고, 통합 문서를 저장한 뒤 결과를 검증해 달라고 요청했습니다.
AI가 주장한 내용: 데이터 보강이 완료되었다며 프로필 개수를 보고했습니다.
제가 확인한 내용: 다운로드한 통합 문서의 K열은 여전히 비어 있었습니다. 이후 어시스턴트는 실제로 데이터 보강을 수행하지 않았고 복사하거나 이름을 바꾼 파일만 반환했다고 인정했습니다.
부수 효과:이 패턴은 약 네 번 반복되었습니다. 매번 오랜 시간이 걸렸고 사용 가능한 결과 없이 다시 성공했다고 보고해 워크플로가 루프에 빠진 것처럼 보였습니다. 추가 토큰과 사용량을 상당히 소모했으며, 토큰 기반 과금이라면 실제 추가 비용으로 이어질 수 있습니다.
이유: AI가 루프에 빠진 걸까요?
실용적인 의미에서는 그렇다고 볼 수 있지만, 사용자가 느끼는 방식과는 다릅니다. 모델에는 실패를 반복하고 있다는 지속적인 자기 인식이 없습니다. 애플리케이션이 제공하는 컨텍스트와 상태만 사용할 수 있습니다. 새로운 답변은 전체 대화 기록, 잘리거나 요약된 기록, 또는 서버에서 관리하는 상태를 바탕으로 생성될 수 있습니다. 워크플로가 어시스턴트에게 파일을 열고 저장된 값을 검증하도록 요구하지 않으면 “완료”는 여전히 그럴듯한 답변으로 남을 수 있습니다. 문제는 고집이 아니라 검증과 상태 확인이 빠져 있다는 점입니다.
그래서 같은 질문을 반복하는 것은 거의 도움이 되지 않으면서 토큰만 계속 소모합니다. 루프를 끊는 방법은 질문을 반복하는 것이 아니라 작업을 바꾸는 것: 결과를 검증 가능하게 만들고, 어시스턴트가 저장된 파일을 다시 읽어 실제 셀 값을 보여주도록 요청하며, 그 증거가 없으면 실행을 중단하세요. 모델이 확인할 수 있는 성공 기준을 정의하는 방법은 가장 흔한 프롬프팅 실수 가이드에서 확인할 수 있습니다.
컨텍스트는 왜 도움이 될까요?
컨텍스트는 탐색 공간을 좁혀 줍니다. 모델이 대상 독자, 목표, 제약 조건, 예시, 출처 자료를 알면 일반적인 답변 대신 상황에 맞는 답변을 만들 수 있습니다. 하지만 컨텍스트가 많다고 항상 좋은 것은 아닙니다. 관련 없는 컨텍스트는 모델의 주의를 흐리고 비용을 늘릴 수 있습니다.
검색 엔진과 LLM의 차이
검색 엔진은 페이지를 찾아 링크의 순위를 매깁니다. LLM은 패턴과 제공된 컨텍스트를 바탕으로 답변을 생성합니다. 최신 출처, 공식 페이지, 다양한 관점이 필요할 때는 검색이 더 적합합니다. 제공된 정보를 종합하거나 다시 쓰거나 추론하거나 구조화된 초안을 만들 때는 LLM이 더 적합합니다. 많은 강력한 AI 제품은 두 방식을 결합합니다.

“AI가 언어를 이해한다”는 말은 무엇을 뜻할까요?
일상적인 표현에서 “이해한다”는 것은 모델이 의미, 어조, 구조에 맞게 적절히 반응할 수 있다는 뜻입니다. 기술적으로는 텍스트 패턴을 유용한 출력에 연결하는 통계적 표현을 학습한 것입니다. 실제 경험, 의도, 상식적인 책임감을 가진 사람처럼 이해하는 것은 아닙니다.