삐에로의 지식창고

개요 14편에서 파운데이션 모델이라는 단어를 처음 꺼냈다. 큰 모델 하나를 먼저 만들어두고 여러 작업에 가져다 쓰는 방식이었다. 이번 글부터는 그중에서도 텍스트 파운데이션 모델, 우리가 흔히 거대 언어 모델(LLM, Large Language Model) 이라고 부르는 것을 파고든다. 여기서 자연스럽게 튀어나오는 질문이 하나 있다. BERT도 GPT-1도 트랜스포머였고, 인터넷 데이터로 사전학습했다. 그런데 왜 그때는 ChatGPT 같은 게 안 나왔을까? 이번 글은 이 질문에 대한 답이다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. 파운데이션 모델을 한 ... Read More

개요 지난 글에서는 게임 개발 오케스트레이션을 Agent-first 구조로 다시 설계한 과정을 정리했다. 판단은 Codex가 맡고, MCP는 외부 도구를 다루며, 최종 승인과 재미 판단은 사람이 맡도록 책임을 나눴다. 구조를 가볍게 만든 이유는 멋진 설계도를 보여주기 위해서가 아니었다. 실제 게임을 더 빨리 만들고 고치기 위해서였다. 이제 그 구조 위에 올릴 게임의 방향이 조금 더 구체화됐다. 하나의 공통 스토리를 바탕으로 2D와 3D 버전을 동시에 만든다. 두 게임을 끝까지 모두 만드는 것은 아니다. 먼저 각각의 작은 MVP를 빠르게 만든 뒤, 더 좋은 경험을 주는 쪽을 골라 완성된 게임으로 키울 계획이다.... Read More

개요 블로그 글이 많아지면 검색창은 장식이 아니라 두 번째 목차가 된다. 그런데 이 검색창이 원하는 글을 못 찾기 시작했다. 처음에는 검색 결과가 무조건 최신 글부터 나왔다. 관련도 순으로 바꾸고 나니 이번에는 검색 자료가 너무 커졌다. 자료를 줄이려고 본문 대신 제목 헤더를 저장했더니, 혼동행렬처럼 글 안에 분명히 있는 제목이 검색되지 않았다. 겉으로 보면 모두 같은 문제처럼 보인다. “검색이 이상하다.” 하지만 실제 원인은 매번 달랐다. 정렬 규칙, 로딩 순서, 검색 자료의 크기, 빌드 과정의 자료 형태가 차례로 문제를 만들었다. 이 글은 그 문제들을 어떤 순서로 확인했고, 여러 해결 방법 중... Read More

개요 NAN(Next AI Network) 해커톤이 끝났다. 한 달 동안 만든 것은 게임 한 편이라기보다 게임을 만드는 AI 파이프라인에 가까웠다. 아이디어를 넣으면 기획하고, 기능 명세로 나누고, 코드를 만들고, 에셋을 생성하고, Unity에서 검증하는 흐름까지 연결했다. LangGraph 노드 16개와 여러 번의 검사·되돌림 과정도 만들었다. 당시에는 자동화 단계를 더 촘촘하게 잇는 것이 좋은 구조라고 생각했다. 그런데 실제 게임은 대부분 마지막 바이브 코딩 단계에서 완성됐다. 파이프라인은 돌아갔지만, 구조를 만든 우리조차 문제가 생겼을 때 어느 서버와 문서를 먼저 봐야 할지 헤매는 일이 생겼다. ... Read More

개요 지난 글까지 PyTorch로 모델을 만들고 학습시키는 데까지 왔다. 그런데 지금까지 다룬 데이터는 전부 이미 숫자였다. 텍스트는 다르다. 모델에 넣기 전에 글자를 숫자로 바꾸는 단계가 하나 더 필요하다. "오늘 학교에서 공부했다" ↓ 토큰화 — 조각으로 쪼갠다 ["오늘", "학교", "에서", "공부", "했다"] ↓ 사전 조회 — 번호를 붙인다 [1023, 887, 45, 2311, 908] ↓ 임베딩 — 벡터로 바꾼다 [[0.2, -1.4, ...], [0.5, 0.3, ...], ...] ↓ 모델 입력 이번 글은 이 세 단계를 코... Read More

개요 여기까지 오면서 Transformer라는 재료가 갖춰졌다. 이번 글은 그 재료를 어떻게 쓰느냐에 대한 이야기다. 그리고 이 지점에서 자연어처리의 방식이 통째로 바뀐다. 작업마다 모델을 만들던 시대 → 큰 모델 하나를 먼저 만들어두고 가져다 쓰는 시대 지금 우리가 쓰는 대화형 AI가 바로 이 흐름의 끝에 있다. 1편에서 “단어를 숫자로 어떻게 바꾸지?”로 시작한 이야기가 여기까지 이어진다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. 사전학습이란 사전학습(Pretraining) = 대규모 데이터로 일반적인 언어 능력을 먼저 익히게 하는 과정 ... Read More

개요 지난 글 끝에서 던진 질문이 이번 글의 출발점이다. RNN이 하던 “정보 전달”을 Attention이 더 잘한다면, 굳이 RNN이 필요할까? 2017년에 나온 논문 제목이 그 답을 대놓고 말한다. “Attention Is All You Need” — Attention만 있으면 된다. 이번 글에서는 그 주장이 어떻게 성립하는지, 그리고 그렇게 만든 구조인 Transformer를 정리한다. 지금 우리가 쓰는 거의 모든 언어 모델이 이 구조 위에 있다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. RNN을 빼야 하는 두 가지 이유 Attention을 붙였어... Read More

개요 지난 글 마지막에 Seq2Seq의 문제를 하나 남겨뒀다. 문장 전체를 벡터 하나에 밀어 넣는다. 이번 글은 그 문제를 뚫은 Attention이다. 개인적으로는 이 시리즈에서 가장 중요한 아이디어라고 생각한다. 다음 글의 Transformer도, 지금의 대화형 AI도 전부 이 아이디어 위에 올라가 있기 때문이다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. 병목 문제 먼저 문제를 정확히 보자. Seq2Seq에서 인코더는 문장을 끝까지 읽고 마지막 요약 벡터 하나를 만든다. 디코더는 오직 그 벡터만 보고 번역문 전체를 써야 한다. 문제는 벡터 크기가... Read More