개요

14편에서 파운데이션 모델이라는 단어를 처음 꺼냈다. 큰 모델 하나를 먼저 만들어두고 여러 작업에 가져다 쓰는 방식이었다.

이번 글부터는 그중에서도 텍스트 파운데이션 모델, 우리가 흔히 거대 언어 모델(LLM, Large Language Model) 이라고 부르는 것을 파고든다.

여기서 자연스럽게 튀어나오는 질문이 하나 있다.

BERT도 GPT-1도 트랜스포머였고, 인터넷 데이터로 사전학습했다. 그런데 왜 그때는 ChatGPT 같은 게 안 나왔을까?

이번 글은 이 질문에 대한 답이다.

교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다.

1. 파운데이션 모델을 한 문장으로

파운데이션 모델 = 대량의 데이터로 미리 학습해둔 큰 모델. 여러 작업의 기초(foundation) 로 쓰인다.

예전에는 이랬다.

하고 싶은 일 예전 방식
감정 분류 감정 분류용 모델을 따로 학습
번역 번역용 모델을 따로 학습
요약 요약용 모델을 따로 학습

새 일이 생길 때마다 처음부터 다시였다.

파운데이션 모델은 이걸 뒤집는다.

새로운 일을 시키려면 말로 자세히 설명(프롬프트)해주면 끝난다.

이게 얼마나 큰 변화인지는 비유를 하나 들면 분명해진다.

예전 방식은 일자별로 다른 기계를 사는 것이었다. 빵 굽는 기계, 면 뽑는 기계, 커피 내리는 기계를 각각 사야 했다.

파운데이션 모델은 요리를 할 줄 아는 사람을 한 명 고용하는 것이다. 빵을 원하면 빵을 부탁하고, 파스타를 원하면 파스타를 부탁한다. 기계를 새로 사는 게 아니라 부탁만 바꾸면 된다.

2. 파운데이션 모델의 세 가지 재료

강의에서는 파운데이션 모델을 떠받치는 재료를 세 가지로 정리했다.

파운데이션 모델의 세 재료

(1) 빅데이터

인터넷에 존재하는 데이터 양이 기하급수적으로 늘었다. 2025년 기준 추정치가 175 ZB(제타바이트) 수준이다.

그리고 딥러닝 모델은 특이한 성질이 있다.

학습 데이터가 늘어날수록 성능이 계속 좋아진다.

이게 당연해 보이지만 그렇지 않다. 사람이 만든 규칙 기반 프로그램은 데이터가 100배 늘어난다고 100배 똑똑해지지 않는다. 딥러닝은 늘어난 만큼 먹는다.

(2) 자가 학습 — 사람이 정답을 안 만들어도 된다

자가 학습(Self-supervised Learning) 은 사람이 정답표를 만들 필요가 없는 학습 방식이다.

텍스트에서는 방법이 아주 단순하다. 다음 토큰 예측(Next Token Prediction) 이다.

인터넷에서 문장 하나를 주워온다
  "아까 밥 먹고 왔어"
        ↓ 뒤를 잘라낸다
  입력: "아까 밥 먹고"
  정답: "왔어"

문장에서 뒷부분을 가리면 그게 곧 문제이고, 가린 부분이 곧 정답이다. 사람이 손댈 게 없다.

사람이 라벨을 붙여야 했다면 지금 규모는 불가능했다. 정답을 만드는 데 드는 비용이 0이라서 인터넷 전체를 학습 데이터로 쓸 수 있었다.

(3) 어텐션 기반 트랜스포머

12·13편에서 다룬 그것이다. 데이터가 아무리 많아도 그걸 소화할 그릇이 없으면 소용없다.

  • 어텐션 — 입력에서 중요한 부분에 집중하는 방식
  • 트랜스포머 — 어텐션을 쌓아 만든 신경망 구조

정리하면 이렇게 된다.

재료 없으면
빅데이터 배울 게 없다
자가 학습 데이터를 정답으로 못 바꾼다
트랜스포머 많은 데이터를 소화할 그릇이 없다

3. 그런데 BERT도 이 세 가지를 다 갖췄다

여기서 처음의 질문으로 돌아온다.

BERT(2018)도 대량 데이터 + 자가 학습(빈칸 맞히기) + 트랜스포머였다. 세 재료를 다 갖췄는데 왜 ChatGPT가 아니었을까?

BERT는 당시 기준으로 대단한 성과였다. 질의응답에서 +2.1%, 여러 이해 작업 평균에서 +7.6% 기록을 갈아치웠다.

하지만 BERT에게 “이 이메일을 좀 더 친근한 말투로 고쳐줘”라고 부탁할 수는 없다. 작업마다 파인튜닝이 여전히 필요했다.

GPT-2가 남긴 힌트

2019년 GPT-2에서 흥미로운 관찰이 나왔다.

추가 학습 없이도, 텍스트로 지시만 주면 새로운 작업을 “어느 정도” 해낸다.

“어느 정도”라는 게 중요하다. 잘하지는 못했다. 그런데 논문에는 더 결정적인 한 줄이 있었다.

가장 큰 GPT-2 모델조차 아직 underfitting 상태다.

Underfitting은 아직 덜 배운 상태를 뜻한다. 보통 모델을 키우면 어느 순간부터 과적합(외워버리기)이 시작되는데, GPT-2는 제일 큰 모델까지도 아직 배울 여력이 남아 있었다.

Perplexity — 언어 모델이 얼마나 헤매는가

여기서 쓰인 지표가 Perplexity(PPL) 다. 공식은 이렇게 생겼다.

$$ \text{Perplexity} = \sqrt[N]{\frac{1}{P(w_1, w_2, \ldots, w_N)}} $$

기호가 무섭게 생겼지만 뜻은 단순하다.

다음 단어를 고를 때 모델이 몇 개 후보 사이에서 헷갈리고 있는가

  • PPL이 10이다 → 매번 10개쯤 되는 후보 사이에서 갈팡질팡한다
  • PPL이 2다 → 거의 2개 중에서 고른다. 훨씬 확신에 차 있다

낮을수록 좋다.

스무고개를 한다고 해보자. 아직 아무 힌트도 못 들었을 때는 후보가 수천 개다. 힌트를 들을수록 후보가 줄어든다. Perplexity는 지금 남아 있는 후보 개수를 재는 것과 같다.

GPT-2는 모델 크기를 117M → 345M → 762M → 1542M으로 키울 때마다 PPL이 계속 떨어졌다. 꺾이는 지점이 안 보였다.

여기서 더 키우면 더 좋아진다는 뜻이었다.

4. 특징 ① 규모의 법칙 (Scaling Law)

그래서 실제로 키워봤더니, 성능이 예측 가능한 형태로 좋아졌다.

규모의 법칙

규모의 법칙(Scaling Law) = 데이터를 더 많이, 모델을 더 크게, 학습을 더 오래 할수록 성능이 좋아진다. 그것도 일정한 규칙을 따라서.

세 가지 축 모두에서 같은 모양이 나왔다.

늘린 것 결과
계산량(Compute) 손실(Loss) 감소
데이터 크기(Dataset) 손실 감소
모델 크기(Parameters) 손실 감소

세 그래프 모두 로그 축에서 깨끗한 직선으로 떨어진다. 이걸 멱법칙(power law)이라고 부른다.

여기서 진짜로 중요한 건 성능이 좋아진다는 사실 자체가 아니다.

얼마나 좋아질지 미리 계산할 수 있다는 것이다.

수백억 원이 드는 학습을 시작하기 전에, 작은 모델 몇 개를 돌려보고 “이 정도 크기면 손실이 이 정도 나온다” 를 예측할 수 있게 됐다. 도박이 공학이 된 순간이다.

라면을 끓이는데 “물 500ml에 3분이면 이 맛, 700ml에 4분이면 저 맛”이 정확히 예측된다면, 원하는 맛을 위해 재료를 얼마나 넣을지 계산해서 정할 수 있다. 규모의 법칙이 딱 이 역할을 했다.

5. 특징 ② 창발성 (Emergent Property)

규모의 법칙만이었다면 그냥 “크면 좋다” 정도로 끝났을 것이다. 그런데 예상 밖의 일이 일어났다.

창발성(Emergent Property) = 특정 규모를 넘어서면 갑자기 나타나는 능력

창발성

작은 모델에서는 아예 없던 능력이, 어느 크기를 넘기자 툭 튀어나온다. 서서히 좋아지는 게 아니다.

대표적인 두 가지다.

인-컨텍스트 학습 (In-Context Learning)

14편에서 다뤘던 그것이다. 설명과 예시 몇 개만 주면 파인튜닝 없이 새 작업을 해낸다.

GPT-3 실험 결과가 인상적이다. 예시 개수를 늘려가며 정확도를 재봤더니,

모델 크기 예시를 늘렸을 때
1.3B 거의 변화 없음
13B 조금씩 오름
175B 확연히 오름

같은 방법인데 모델이 커야만 통했다. 작은 모델에게 예시를 아무리 보여줘도 소용이 없었다.

추론 능력 (Reasoning)

여러 단계를 거쳐야 하는 문제를 푸는 능력도 마찬가지였다. 이건 17편에서 자세히 다룬다.

물이 온도를 올려도 그냥 뜨거운 물일 뿐이다가, 100도를 넘는 순간 갑자기 수증기가 된다. 90도에서 99도까지는 “조금씩 수증기가 되는” 게 아니다. 창발성이 이런 모양이다.

6. 그래서 “거대 언어 모델”의 기준은?

강의에서 제시한 대략적인 기준은 이렇다.

기존 대비 (1) 더 큰 모델(7B 이상) 이 (2) 더 많은 데이터(1T 토큰 이상) 에서 학습되어 창발성이 나타나기 시작한 언어 모델

여기서 B는 Billion(10억), T는 Trillion(1조) 이다. 7B이면 모델 내부의 숫자(파라미터)가 70억 개라는 뜻이다.

다만 강의에서 이 점을 명확히 짚었다.

시간이 지나며 기준이 계속 바뀌기 때문에, 7B·1T는 절대적인 기준이 아니다.

2020년의 “거대”와 2026년의 “거대”는 다르다. 이런 상대적 기준은 숫자를 외우기보다 왜 이 숫자가 나왔는지를 기억하는 게 낫다.

7. 폐쇄형 vs 개방형

지금 쓰이는 거대 언어 모델은 크게 두 갈래로 나뉜다.

폐쇄형과 개방형

폐쇄형 (Closed)

ChatGPT(OpenAI), Claude(Anthropic), Gemini(Google) 같은 모델이다.

  내용
장점 일반적으로 성능이 더 좋고, 최신 기능이 먼저 들어오며, 쓰기 쉽다
단점 1 API를 쓸 때마다 비용이 발생한다
단점 2 모델 구조나 출력에 대한 정보가 제한적으로만 공개된다

각 모델의 성격도 조금씩 다르다.

모델 특징
ChatGPT (OpenAI) 활성 사용자 수가 가장 많다. 전반적으로 뛰어남
Claude (Anthropic) 안전 지향적. 코딩 작업에 특히 강하다
Gemini (Google) 가장 긴 입출력(100만 토큰 이상) 지원. 멀티모달 성능이 좋다

비용 구조도 알아둘 만하다. 같은 회사 안에서도 등급이 나뉜다.

등급 성격 상대 비용
플래그십 복잡한 다단계 문제 가장 비쌈
mini 잘 정의된 작업, 더 빠름 중간
nano 요약·분류 같은 단순 작업 가장 쌈

실무에서 “제일 좋은 모델을 쓰면 되지” 가 안 통하는 이유다. 요약 한 줄 뽑는 데 플래그십을 쓰면 비용이 20배 넘게 든다. 작업 난이도에 맞춰 등급을 고르는 것도 설계다.

개방형 (Open sourced)

LLaMA(Meta), Gemma(Google), Qwen(Alibaba) 같은 모델이다.

  내용
장점 1 무료로 다운로드해서 쓸 수 있다
장점 2 모델 구조·소스 코드 등 모든 정보가 공개되어 있다
단점 1 돌리려면 충분한 계산 자원(GPU) 이 필요하다
단점 2 상대적으로 폐쇄형보다 성능이 낮은 편이다

공개 모델과 데이터가 모이는 곳이 Hugging Face다. 200만 개가 넘는 모델이 올라와 있다.

어느 쪽을 고를까

이럴 때 이쪽
빠르게 만들어보고 싶다 폐쇄형
데이터를 밖으로 보내면 안 된다 개방형
요청량이 많아 API 비용이 부담된다 개방형
최고 성능이 필요하다 폐쇄형

성능만의 문제가 아니다. 데이터를 회사 밖으로 내보낼 수 있는가가 실무에서는 더 자주 결정적이다.

정리

  • 파운데이션 모델 = 대량 데이터로 미리 학습해둔 큰 모델. 새 작업은 프롬프트로 시킨다
  • 세 가지 재료 — 빅데이터 / 자가 학습 / 트랜스포머
    • 자가 학습의 핵심은 정답을 만드는 비용이 0이라는 것. 다음 토큰 예측
  • BERT·GPT-1도 세 재료를 갖췄지만 파운데이션 모델처럼 동작하지 못했다. 차이는 규모
    • GPT-2 논문의 힌트 — 가장 큰 모델조차 아직 underfitting
    • Perplexity = 다음 단어를 고를 때 헷갈리는 후보 개수. 낮을수록 좋다
  • 규모의 법칙 — 데이터·모델·학습을 키우면 성능이 예측 가능한 규칙으로 좋아진다
    • 진짜 의미는 성능 향상이 아니라 미리 계산할 수 있게 됐다는 것
  • 창발성 — 특정 규모를 넘으면 갑자기 나타나는 능력. 인-컨텍스트 학습, 추론
  • 거대 언어 모델 ≈ 7B 이상 + 1T 토큰 이상. 단 절대 기준은 아니다
  • 폐쇄형은 성능·편의, 개방형은 비용·데이터 통제. 성능만으로 고르는 게 아니다

다음 글에서

여기까지는 “왜 커지니까 달라졌는가”였다. 그런데 다음 토큰 예측만으로 학습한 모델은 아직 우리가 쓰는 챗봇이 아니다.

다음 글에서는 인터넷을 통째로 읽은 모델을 어떻게 말 잘 듣는 조수로 바꾸는지 — 지시 학습과 선호 학습을 다룬다.

참고 자료

한줄 평

  • “규모의 법칙”