삐에로의 지식창고

개요 15~20편에서 텍스트 파운데이션 모델, 거대 언어 모델을 처음부터 끝까지 팠다. 그런데 14편에서 한 번 짚었듯, 파운데이션 모델은 언어에만 있는 게 아니다. 이미지에도 같은 흐름이 있었다. 이 글은 원래 14편에 함께 있었으나 분량이 커져 떼어냈다. 텍스트 시리즈를 마친 지금 읽으면 “큰 모델을 먼저 만들어 재사용한다” 는 발상이 언어와 이미지에서 어떻게 똑같이 반복되는지 보인다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 파운데이션 모델은 언어에만 있지 않다 파운데이션 모델의 ... Read More

개요 15편부터 시작한 텍스트 파운데이션 모델 이야기의 마지막이다. 지금까지 정의 → 학습 → 추론 → 평가를 봤다. 이번 글은 두 가지다. 이 모델들이 어디까지 확장되고 있는가(응용), 그리고 무엇을 아직 못 하는가(한계). 강력한 도구일수록 한계를 아는 것이 쓰는 사람의 몫이다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 응용 ① 멀티모달 파운데이션 모델 거대 언어 모델은 텍스트에만 머물지 않는다. GPT-4o가 대표적이다. 멀티모달 입력(이미지, 비디오, 오디오) → 멀티모... Read More

개요 18편까지 거대 언어 모델을 만들고 쓰는 법을 봤다. 이번 글은 잘 되고 있는지 어떻게 아는가다. 이게 생각보다 어려운 문제다. 감정 분류는 정답이 있다. 맞았는지 틀렸는지 세면 된다. 그런데 “해리포터 1권을 5문장으로 요약해줘” 의 정답은 뭘까? 정답이 없는 작업을 채점하는 이야기다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 평가의 세 가지 요소 평가(Evaluation) = 구축한 시스템이 실제로 잘 동작하는지 확인하는 단계 무엇을 평가하든 세 가지가 필요하다. ... Read More

개요 17편은 모델이 준 확률을 어떻게 고를 것인가의 이야기였다. 이번 글은 그 앞단이다. 애초에 모델에게 무엇을 넣을 것인가. 같은 모델에 같은 질문을 해도 어떻게 물어보느냐에 따라 답이 완전히 달라진다. 그래서 이게 하나의 기술 분야가 됐다. 프롬프트 엔지니어링 = 원하는 답을 얻기 위해 모델에 주어지는 입력(프롬프트)을 설계·조정하는 기법 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 프롬프트의 해부 프롬프트를 뜯어보면 두 조각으로 나뉜다. 입력 프롬프트 = (1) ... Read More

개요 16편까지 오면서 모델은 학습을 마쳤다. 이제 답을 만들어낼 차례다. 그런데 여기서 생각보다 큰 자유도가 하나 남아 있다. 학습이 끝난 모델은 다음 토큰의 확률 분포만 알려준다. 그중에 뭘 고를지는 아직 정해지지 않았다. 같은 모델, 같은 질문인데 답이 매번 다르게 나오는 이유가 여기에 있다. 이번 글은 그 고르는 방법에 대한 이야기다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 자동회귀 생성 — 한 토큰씩 만든다 거대 언어 모델이 답을 만드는 방식은 순차적이다. 자동회귀 ... Read More

개요 15편에서 모델을 키웠더니 창발성이 나타났다는 데까지 왔다. GPT-3가 그 출발점이었다. 그런데 여기에 함정이 하나 있다. GPT-3는 다음 토큰 예측으로만 학습된 모델이다. 그 말은 곧, 인터넷 글을 그럴듯하게 이어 쓰는 것이 이 모델이 배운 전부라는 뜻이다. “이 문장을 번역해줘”라고 부탁했을 때 번역해주는 것과 그 문장 뒤에 올 법한 글을 이어 쓰는 것은 전혀 다른 일이다. 이번 글은 그 간극을 메우는 이야기다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. GPT-3 — 거대 ... Read More

개요 14편에서 파운데이션 모델이라는 단어를 처음 꺼냈다. 큰 모델 하나를 먼저 만들어두고 여러 작업에 가져다 쓰는 방식이었다. 이번 글부터는 그중에서도 텍스트 파운데이션 모델, 우리가 흔히 거대 언어 모델(LLM, Large Language Model) 이라고 부르는 것을 파고든다. 여기서 자연스럽게 튀어나오는 질문이 하나 있다. BERT도 GPT-1도 트랜스포머였고, 인터넷 데이터로 사전학습했다. 그런데 왜 그때는 ChatGPT 같은 게 안 나왔을까? 이번 글은 이 질문에 대한 답이다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 ... Read More

개요 지난 글에서는 게임 개발 오케스트레이션을 Agent-first 구조로 다시 설계한 과정을 정리했다. 판단은 Codex가 맡고, MCP는 외부 도구를 다루며, 최종 승인과 재미 판단은 사람이 맡도록 책임을 나눴다. 구조를 가볍게 만든 이유는 멋진 설계도를 보여주기 위해서가 아니었다. 실제 게임을 더 빨리 만들고 고치기 위해서였다. 이제 그 구조 위에 올릴 게임의 방향이 조금 더 구체화됐다. 하나의 공통 스토리를 바탕으로 2D와 3D 버전을 동시에 만든다. 두 게임을 끝까지 모두 만드는 것은 아니다. 먼저 각각의 작은 MVP를 빠르게 만든 뒤, 더 좋은 경험을 주는 쪽을 골라 완성된 게임으로 키울 계획이다.... Read More