개요

15~20편에서 텍스트 파운데이션 모델, 거대 언어 모델을 처음부터 끝까지 팠다.

그런데 14편에서 한 번 짚었듯, 파운데이션 모델은 언어에만 있는 게 아니다. 이미지에도 같은 흐름이 있었다.

이 글은 원래 14편에 함께 있었으나 분량이 커져 떼어냈다. 텍스트 시리즈를 마친 지금 읽으면 “큰 모델을 먼저 만들어 재사용한다” 는 발상이 언어와 이미지에서 어떻게 똑같이 반복되는지 보인다.

교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다.

1. 파운데이션 모델은 언어에만 있지 않다

파운데이션 모델의 핵심은 크기 자체가 아니다.

넓고 다양한 데이터로 먼저 학습한 뒤, 여러 작업의 바탕으로 재사용할 수 있는 모델

언어에서는 BERT와 GPT가 그 변화를 보여줬다. 이미지에서도 예전에는 분류·검출·생성마다 모델을 따로 만들었지만, 이제는 큰 이미지 데이터와 이미지-텍스트 쌍으로 먼저 학습한 모델을 여러 작업에 가져다 쓴다.

이 관점에서 전이학습과 파운데이션 모델은 이어져 있다.

  • 전이학습은 이미 배운 모델을 내 작업에 가져다 쓰는 방법이다
  • 파운데이션 모델은 처음부터 다양한 작업에 재사용될 수 있도록 넓은 데이터로 학습한 기반이다
  • Fine-tuning, Linear Probing, Prompting은 그 기반을 실제 작업에 적응시키는 방법이다

즉 앞 글에서 본 사전학습과 Fine-tuning은 자연어처리만의 요령이 아니라, 현대 AI 개발 전반의 공통 흐름이다.

2. 이미지 생성의 첫 전환 — GAN

GAN은 생성자와 판별자 두 신경망을 경쟁시키는 방식이다.

  • 생성자는 무작위 숫자에서 가짜 이미지를 만든다
  • 판별자는 진짜 이미지와 가짜 이미지를 구분한다
  • 생성자는 판별자를 더 잘 속이도록 배우고, 판별자는 더 잘 잡도록 배운다

위조범과 경찰이 서로 실력을 높이는 비유가 잘 맞는다. GAN은 선명한 이미지를 빠르게 만들고, 입력 Noise를 조금씩 움직이며 결과의 특징을 바꿀 수 있다는 가능성을 보여줬다.

그러나 두 모델의 균형을 맞추기가 어렵다. 판별자가 너무 강하면 생성자가 배울 신호를 못 받고, 생성자가 판별자를 속이기 쉬운 몇 가지 결과만 반복하는 Mode Collapse도 생긴다.

생성 결과가 선명하다는 것과, 다양한 결과를 안정적으로 배운다는 것은 다른 문제였다.

3. 경쟁 대신 복원 — Diffusion

Diffusion은 이미지를 한 번에 그리지 않는다. 학습할 때는 원본 이미지에 Noise를 조금씩 섞고, 모델은 추가된 Noise를 예측하는 법을 배운다. 생성할 때는 완전한 Noise에서 시작해 예측한 Noise를 여러 번 걷어낸다.

과정 하는 일
Forward Process 원본에 Noise를 조금씩 더해 망가뜨린다
Reverse Process 현재 그림에 섞인 Noise를 예측해 조금씩 제거한다

GAN처럼 두 모델의 힘겨루기를 맞출 필요가 없고 학습 목표가 비교적 분명해 안정적이다. 여러 단계를 거치며 다양한 결과를 만들 수 있는 대신, 같은 계산을 반복하므로 생성이 느리고 비싸다.

여기서 중요한 실무 교환이 보인다.

  • 제거 Step을 줄이면 빠르지만 세부 품질이 무너질 수 있다
  • Step을 늘리면 정교해질 수 있지만 응답 시간과 비용이 커진다

AI 서비스에서 모델 정확도만큼 Latency와 비용을 함께 봐야 하는 이유다. 이건 17편에서 본 디코딩 Step 수, 20편에서 본 RAG 비용과 완전히 같은 종류의 트레이드오프다.

4. 픽셀 대신 요약본에서 — Latent Diffusion

고해상도 이미지의 모든 픽셀에서 Diffusion을 돌리면 계산량이 너무 크다. 그래서 먼저 Encoder로 이미지를 작은 Latent Space에 압축하고, 그 공간에서 Noise를 제거한 뒤 Decoder로 이미지에 복원한다.

큰 도화지에서 픽셀 하나씩 고치는 대신, 그림의 구도·색·형태를 담은 작은 설계도에서 작업하는 셈이다.

순서는 다음과 같다.

  1. Encoder가 이미지를 작은 Latent 표현으로 압축한다
  2. 생성 모델이 Latent 공간에서 Noise를 예측하고 제거한다
  3. Decoder가 정리된 Latent를 다시 이미지로 복원한다

계산량은 크게 줄지만 압축이 지나치면 작은 글자나 손가락처럼 섬세한 정보가 사라질 수 있다. Latent Diffusion의 핵심은 단순히 작게 만드는 게 아니라 계산 절감과 세부 정보 보존 사이의 균형이다.

5. 글과 그림을 같은 공간에 — CLIP과 멀티모달

이미지 생성기가 “우주에서 서핑하는 고양이”라는 문장을 따르려면 그림만 잘 그려서는 부족하다. 글과 그림의 관계도 알아야 한다.

CLIP은 이미지 Encoder와 텍스트 Encoder를 함께 학습한다.

  1. 이미지와 설명 문장을 각각 벡터로 바꾼다
  2. 맞는 이미지-문장 쌍은 벡터가 가까워지게 한다
  3. 틀린 쌍은 멀어지게 한다

이런 대조학습을 거치면 글과 그림을 비교할 수 있는 공동 공간이 생긴다. 학습 때 고정된 범주 이름만 외우는 대신 자연어로 새 범주를 설명해 Zero-shot 분류에 활용할 수 있다.

여기서 자주 생기는 오해가 있다.

CLIP 자체는 이미지를 그리는 모델이 아니다. 글과 그림이 얼마나 잘 맞는지 연결하고 비교하는 모델이다.

Stable Diffusion 계열에서는 텍스트 Encoder가 Prompt의 의미를 표현하고, Latent Diffusion 모델이 그 조건을 참고해 Noise를 제거하며, Decoder가 최종 이미지를 만든다. 그래서 단순히 “CLIP이 그림을 그린다”고 설명하면 각 부품의 역할을 놓치게 된다.

멀티모달은 여기서 더 넓어진다. 이미지와 글뿐 아니라 소리, 영상, 센서처럼 다른 형태의 데이터를 함께 이해하고 연결하는 방향이다. 앞에서 갈라졌던 이미지의 CNN·ViT 흐름과 언어의 Transformer 흐름이 다시 만나는 지점이다.

20편에서 본 LLaVA·GPT-4o의 멀티모달이 거대 언어 모델을 중심에 둔 통합이라면, CLIP은 글과 그림을 같은 공간에 놓는 더 기초적인 다리다. 둘 다 “다른 모달리티를 하나의 표현으로 잇는다”는 같은 목표를 향한다.

6. 큰 모델을 실제 서비스에 넣으려면

파운데이션 모델은 강력하지만 크기·메모리·응답 시간·운영비가 문제다. 그래서 성능을 유지하며 가볍게 만드는 여러 방법을 쓴다.

  • Knowledge Distillation: 큰 Teacher의 확률 분포와 판단 방식을 작은 Student가 따라 배우게 한다
  • Quantization: 가중치와 계산에 쓰는 숫자의 정밀도를 낮춰 메모리와 연산량을 줄인다
  • Pruning: 영향이 작은 연결이나 가중치를 제거한다
  • 효율적인 Architecture: 처음부터 적은 연산으로 동작하도록 모델 구조를 설계한다

교재에서 예로 든 SANA는 마지막 방향을 잘 보여준다. 이를 단순히 “지식 증류로 줄인 Stable Diffusion”이라고 보면 정확하지 않다. SANA가 제안한 핵심은 더 강한 압축을 하는 Autoencoder, 고해상도에서 계산량을 줄이는 Linear Attention 기반 Diffusion Transformer, 작은 Decoder-only Text Encoder, 적은 Step의 Sampling이다.

즉 모델을 가볍게 만드는 길도 하나가 아니다. 이미 큰 모델을 작은 모델로 옮기는 방법이 있고, 처음부터 계산이 덜 들도록 구조를 다시 설계하는 방법도 있다.

실제 AI 개발의 끝은 모델 학습 완료가 아니다.

확인할 것 질문
품질 원하는 대상을 제대로 만들고 지시를 잘 따르는가?
안전 편향·유해 결과·저작권·개인정보 위험을 어떻게 막을 것인가?
속도 사용자가 기다릴 수 있는 시간 안에 답하는가?
비용 요청 한 건을 처리하는 비용이 서비스 규모에서 감당되는가?
변화 실제 입력 분포가 바뀌면 언제 다시 평가하고 학습할 것인가?

모델 선택은 대회 점수 1등을 고르는 일이 아니라, 품질·안전·속도·비용을 함께 만족하는 시스템을 만드는 일이다. 텍스트 시리즈 19편에서 본 폐쇄형/개방형 선택도 정확히 이 관점이었다.

전체 AI 흐름을 다시 연결하면

흐름 핵심 변화
EDA와 전처리 모델이 배울 데이터를 이해하고 깨끗하게 만든다
선형·로지스틱회귀 단순하고 설명 가능한 기준 모델을 만든다
MLP와 역전파 복잡한 함수를 데이터에서 학습한다
CNN과 전이학습 이미지의 공간 특징을 배우고 이미 배운 지식을 재사용한다
임베딩·RNN·LSTM 단어의 의미와 순서를 표현한다
Attention·Transformer 먼 관계를 직접 보고 병렬로 학습한다
사전학습·파운데이션 모델 큰 데이터로 먼저 배워 여러 작업에 재사용한다
거대 언어 모델 규모를 키워 창발성을 얻고, 정렬로 말을 듣게 만든다
멀티모달 글·그림·소리처럼 다른 데이터를 하나의 문제로 연결한다
경량화·배포·관찰 모델을 실제 비용 안에서 운영하고 변화에 대응한다

앞 단계가 사라지는 것도 아니다. 거대한 멀티모달 모델을 쓰더라도 데이터 확인, 올바른 평가 지표, 누수 없는 검증, 비용 측정은 그대로 필요하다. 모델은 바뀌어도 AI 개발의 기본 루프는 남는다.

정리

  • 파운데이션 모델은 언어 전용이 아니다. 이미지에서도 큰 데이터로 먼저 배운 기반을 여러 작업에 재사용한다
  • GAN — 생성자·판별자를 경쟁시킨다. 선명하지만 균형 맞추기가 어렵고 Mode Collapse가 있다
  • Diffusion — Noise를 조금씩 제거하며 복원한다. 안정적이지만 느리고 비싸다
    • Step 수 = 품질과 속도·비용의 트레이드오프
  • Latent Diffusion — 압축된 Latent 공간에서 작업해 계산을 줄인다. 핵심은 절감과 보존의 균형
  • CLIP — 글과 그림을 같은 공간에서 비교한다. 생성기 자체가 아니라 멀티모달 연결 부품
  • 경량화 — Distillation·Quantization·Pruning·효율 구조. 길은 하나가 아니다
  • 실제 서비스는 품질·안전·속도·비용·분포 변화를 함께 관리해야 한다

참고 자료

한줄 평

  • 세상에 존재하시는 여러 천재분들의 발상에 오늘도 감탄하며 흥미롭게 들었습니다.