GPT와 대규모 언어 모델의 작동 원리

GPT는 데이터베이스에서 정답을 검색하는 것이 아니에요. 학습을 통해 익힌 패턴을 바탕으로 글을 조각조각 생성해 냅니다. 이 원리를 이해하면 강점과 한계, 가장 효과적인 질문법까지 자연스럽게 파악할 수 있어요.

7분 분량업데이트됨

저희 채팅에 질문을 입력하면, GPT는 저장된 답변 보관함을 검색하지 않아요. 대신 학습 과정에서 방대한 양의 텍스트로부터 흡수한 패턴을 바탕으로, 아주 작은 조각 단위로 새로운 답변을 작성해요. 이 원리 하나만 알면 많은 의문이 풀려요. 언어를 왜 그렇게 잘 다루는지, 왜 거의 모든 것을 설명할 수 있는지, 왜 때로는 완벽하게 확신에 찬 태도로 거짓을 말하는지, 그리고 왜 질문하는 방식이 중요한지 말이죠. 이 가이드에서는 수학적인 내용 없이 쉬운 말로 핵심을 다루며, 이것이 여러분의 실제 채팅에 어떤 의미가 있는지도 함께 설명해 드려요.

GPT의 각 글자가 뜻하는 것

GPT는 Generative Pre-trained Transformer(생성형 사전 학습 트랜스포머)의 약자예요. Generative(생성형)는 정해진 답변을 고르는 대신 새로운 텍스트를 만들어낸다는 뜻이에요. Pre-trained(사전 학습)는 대화에 맞게 튜닝되기 전에 방대한 양의 텍스트 데이터를 먼저 학습했다는 의미예요. Transformer(트랜스포머)는 내부에 쓰인 신경망 구조로, 2017년 Google 연구진이 발표한 설계 방식이에요. 각 단어를 주변의 다른 모든 단어와 서로 연결해 파악하는 능력이 특히 뛰어나죠. OpenAI는 2018년에 첫 GPT 모델을 출시했어요. 저희 채팅에서 제공하는 모델인 GPT-6 Luna와 GPT-6.1 Terra는 이 계보를 잇는 최신 모델이에요. 전체 타임라인은 GPT의 역사 페이지에서, 더 넓은 맥락은 GPT란 무엇인가에서 확인하실 수 있어요.

토큰: 모델이 글을 읽는 방식

모델은 글자나 온전한 단어를 그대로 보지 않아요. 텍스트는 먼저 토큰(token)으로 쪼개져요. 자주 쓰이는 단어는 보통 토큰 하나가 되고, 길거나 흔치 않은 단어는 몇 개의 조각으로 나뉘어요. OpenAI가 제시하는 영어 기준 경험 법칙에 따르면, 1토큰은 대략 4분의 3단어 정도예요. 다른 언어에서는 같은 의미를 표현할 때 더 많은 토큰이 필요한 경우가 많아요.

토큰을 이해하면 몇 가지 특이한 동작도 설명돼요. 모델은 단어 속의 글자 수를 셀 때 종종 헷갈려 하는데, 글자를 하나씩 따로 보지 못하기 때문이에요. 입력과 출력의 제한도 글자 수가 아니라 토큰 단위로 측정돼요. 그리고 저희 GPT API 페이지에 나와 있듯, 개발자 요금도 100만 토큰당 가격으로 책정돼요.

한 조각씩 이어가는 예측

본질적으로 모델이 하는 일은 하나예요. 지금까지 나온 모든 텍스트를 바탕으로, 다음에 올 가능성이 가장 높은 토큰을 예측하는 것이죠. 토큰 하나를 골라 텍스트에 덧붙이고, 답변이 완성될 때까지 이 과정을 수백 번, 수천 번 반복해요. 채팅창에서 답변이 한꺼번에 뜨지 않고 순차적으로 타이핑되듯 나타나는 이유가 바로 여기에 있어요.

토큰을 선택할 때 약간의 무작위성이 들어가기 때문에 매번 똑같은 답변이 나오지 않아요. 재생성 버튼이 바로 이 원리를 이용해요. 다시 질문하면 동일한 지식을 바탕으로 다른 경로를 거쳐 답변을 만들어내죠. 저희 채팅에서는 이전 시도를 버전별로 보관하므로 서로 비교해 볼 수 있어요.

예측이라는 말이 단순하게 들릴 수 있지만, 수십억 개의 예시에서 훌륭하게 예측을 해내려면 문법, 사실관계, 문체, 추론 패턴 등을 두루 익혀야만 해요. 얼핏 이해력처럼 보이는 능력도 사실은 이런 예측 과정에서 자연스럽게 생겨난 것이에요.

모델이 학습되는 과정

GPT 모델은 여러 단계를 거쳐 만들어져요:

  1. 사전 학습(Pre-training). 방대한 양의 텍스트를 처리하며 다음 토큰을 맞히는 단 하나의 작업을 연습해요. 이 단계에서는 어떤 글이든 이어 쓸 수 있지만, 아직 훌륭한 대화 상대는 되지 못해요.
  2. 지시어 튜닝(Instruction tuning). 요청과 그에 대한 모범 답변 예시들을 학습하여, 지시를 따르고 질문에 답하는 법을 배워요.
  3. 피드백과 강화 학습(Feedback and reinforcement learning). 사람과 자동화된 검증 시스템이 답변을 평가하며, 모델이 유용하고 정확하며 안전한 답변을 내놓도록 조정해요. 추론 모델 역시 답변하기 전에 문제를 단계별로 풀어나가도록 이 방식으로 훈련돼요.

학습은 특정 시점에 마무리되며, 그 날짜가 바로 모델의 지식 컷오프(knowledge cut-off)가 돼요. OpenAI에 따르면 GPT-6 Luna의 데이터는 2026년 5월 18일까지, GPT-6.1 Terra는 2026년 6월 1일까지예요. 직접 붙여넣어 주지 않는 한 모델은 그 이후의 정보를 알지 못하며, 저희 채팅은 웹 서핑 기능을 지원하지 않아요.

컨텍스트 윈도우: 모델이 볼 수 있는 범위

모델은 대화가 바뀌면 이전 기억을 유지하지 못해요. 하나의 채팅 안에서는 컨텍스트(문맥)를 파악하는데, 여기에는 지시사항, 지금까지 나눈 메시지, 그리고 여러분의 최신 메시지가 모두 토큰 형태로 포함돼요. OpenAI는 Luna와 Terra에 약 105만 토큰에 달하는 컨텍스트 윈도우를 제공하며, 이는 두꺼운 책 여러 권 분량에 해당해요.

저희와 같은 무료 채팅 서비스는 빠른 답변 속도를 유지하기 위해 대화의 최근 부분만 추려서 훨씬 작은 크기로 전달해요. 대화가 아주 길어지면 초기 메시지는 모델의 시야에서 벗어날 수 있어요. 중요한 세부사항이 있다면 다시 언급하거나, 현재 상황을 짧게 요약해 새 채팅을 시작해 보세요. 각 채팅은 완전히 독립되어 있어서, 모델은 다른 대화에서 나눈 이야기를 기억하지 못해요.

추론: 답변하기 전에 생각하기

추론 모델은 답변을 보여주기 전에 보이지 않는 곳에서 먼저 생각하는 과정을 거쳐요. 시간이 조금 더 걸리지만, 문제를 단계별로 나누고 스스로 실수를 바로잡을 기회를 얻게 되죠. 저희 채팅에서 Think 칩을 켜면 잠시 생각하는 과정을 거치는 GPT-6.1 Terra로 전환돼요. 기본 모델인 GPT-6 Luna는 거의 즉시 답변을 내놓아요. 이러한 기다림이 언제 유용한지는 추론 모델 설명 가이드에서 확인하실 수 있어요.

지어낸 답변(환각)은 왜 생길까요?

모델은 언제나 그럴듯하게 이어지는 글을 쓰도록 설계되어 있어서, 사실 정보가 부족할 때도 일단 글을 완성해 버려요. 틈새 주제에 대한 출처를 물어보면 그런 출처가 실제로 있든 없든 그럴듯한 형식의 참고문헌을 만들어내죠. 작은 마을에 대해 물어보면 일반적인 마을에 들어맞을 법한 세부 내용을 지어내기도 해요. 최신 모델일수록 불확실함을 솔직히 인정하는 능력이 나아졌지만, 모델 자체에는 "이건 내가 모르는 내용이다"라고 확실하게 알려주는 내부 신호가 없어요. 이름, 숫자, 날짜, 인용구 등을 반드시 직접 확인해야 하는 이유가 바로 여기에 있어요. 간단한 검증 방법은 AI 답변 팩트체크 가이드에서 확인해 보세요.

프롬프트 작성에 이것이 의미하는 점

위의 내용들을 종합하면 몇 가지 유용한 실전 규칙이 나와요:

아쉬운 예시:
계약 조기 해지에 대해 계약서에 뭐라고 나와 있어?

좋은 예시:
제 임대차 계약서 제9조 내용이에요: [조항 붙여넣기].
제가 언제 계약을 조기 해지할 수 있는지, 얼마 전에 통보해야 하는지,
어떤 비용이 발생할 수 있는지 쉬운 말로 설명해 줘. 각 항목의 근거가
되는 문장도 함께 인용해 줘.
  • 참고자료를 직접 붙여넣으세요. 모델은 어렴풋한 기억에 의존할 때보다 컨텍스트에 직접 주어진 텍스트를 바탕으로 작업할 때 훨씬 뛰어난 성능을 보여줘요.
  • 구체적으로 질문하세요. 세부사항을 자세히 알려줄수록 모델의 예측 범위가 여러분이 원하는 방향으로 좁혀져요.
  • 직접 제공한 텍스트에서 인용구나 출처를 표기해 달라고 요청하세요. 각 내용을 눈으로 직접 검증할 수 있어요.
  • 대화가 너무 길어져 방향을 잃었다면 새 채팅으로 시작하세요. 새 대화창에서 짧게 요약해 주는 편이 훨씬 잘 작동해요. 요약 도구를 사용하면 요약문을 쉽게 만들 수 있어요.
메모장 없이 머릿속 지식만으로 글을 쓰는 다독가라고 생각해 보세요. 책을 엄청나게 많이 읽어서 글을 유창하게 잘 쓰고 거의 모든 것을 설명할 수 있지만, 새로운 정보를 따로 찾아볼 수는 없어요. 여러분이 알고 있는 사실은 직접 알려주고, 잘 모르는 사실은 꼭 검증해 보세요.

직접 작동하는 모습을 확인해 보고 싶으신가요? GPT에게 스스로의 작동 원리를 5단계로 설명해 보라고 질문한 뒤, 이해가 잘 안 가는 부분에 대해 추가로 질문해 보세요.

자주 묻는 질문(FAQ)

GPT는 자기가 쓰는 글의 내용을 이해하나요?

'이해'를 어떻게 정의하느냐에 따라 달라요. 개념 간의 관계를 훌륭하게 파악하여 설명하고, 요약하고, 논리적으로 추론하는 능력은 뛰어나지만, 실제 세상에 대한 경험이 없으며 진짜 사실과 그럴듯한 추측을 확실하게 구분하지는 못해요.

제 대화 내용을 모델이 학습하나요?

대화가 진행되는 도중에도, 대화가 끝난 후에도 저희 채팅에서는 학습되지 않아요. 모델의 지식은 학습이 끝난 시점에 고정돼요. OpenAI는 고객이 동의하지 않는 한 API를 통해 전송된 데이터를 학습에 사용하지 않는다고 밝히고 있어요.

다시 질문했을 때 왜 다른 답변이 나오나요?

모델이 다음 토큰을 고를 때 약간의 무작위성을 반영하기 때문에, 같은 질문이라도 표현이나 문장 구조가 달라질 수 있어요. 사실관계에 관한 질문인데 답변이 달라진다면 직접 확인해 볼 필요가 있다는 신호예요.

GPT와 ChatGPT는 같은 건가요?

아니요, 달라요. GPT는 OpenAI가 개발한 모델 제품군이고, ChatGPT는 그 모델을 기반으로 만든 OpenAI의 공식 애플리케이션이에요. gpt.me는 API를 통해 GPT 모델을 활용하는 독립적인 사이트예요. 구체적인 차이점은 ChatGPT와의 비교 페이지에서 확인하실 수 있어요.

궁금한 점이 있으신가요? 지금 물어보세요

가입도 다운로드도 필요 없어요. 채팅창을 열고 궁금한 내용을 입력하면 1~2초 만에 답변이 시작돼요.

채팅 시작하기