삐에로의 지식창고

개요 16편까지 오면서 모델은 학습을 마쳤다. 이제 답을 만들어낼 차례다. 그런데 여기서 생각보다 큰 자유도가 하나 남아 있다. 학습이 끝난 모델은 다음 토큰의 확률 분포만 알려준다. 그중에 뭘 고를지는 아직 정해지지 않았다. 같은 모델, 같은 질문인데 답이 매번 다르게 나오는 이유가 여기에 있다. 이번 글은 그 고르는 방법에 대한 이야기다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. 자동회귀 생성 — 한 토큰씩 만든다 거대 언어 모델이 답을 만드는 방식은 순차적이다. 자동회귀 생성(Auto-regressive Generation) = 토큰을 하나... Read More

개요 15편에서 모델을 키웠더니 창발성이 나타났다는 데까지 왔다. GPT-3가 그 출발점이었다. 그런데 여기에 함정이 하나 있다. GPT-3는 다음 토큰 예측으로만 학습된 모델이다. 그 말은 곧, 인터넷 글을 그럴듯하게 이어 쓰는 것이 이 모델이 배운 전부라는 뜻이다. “이 문장을 번역해줘”라고 부탁했을 때 번역해주는 것과 그 문장 뒤에 올 법한 글을 이어 쓰는 것은 전혀 다른 일이다. 이번 글은 그 간극을 메우는 이야기다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. GPT-3 — 거대 언어 모델의 시초 먼저 규모부터 보자. ... Read More

개요 14편에서 파운데이션 모델이라는 단어를 처음 꺼냈다. 큰 모델 하나를 먼저 만들어두고 여러 작업에 가져다 쓰는 방식이었다. 이번 글부터는 그중에서도 텍스트 파운데이션 모델, 우리가 흔히 거대 언어 모델(LLM, Large Language Model) 이라고 부르는 것을 파고든다. 여기서 자연스럽게 튀어나오는 질문이 하나 있다. BERT도 GPT-1도 트랜스포머였고, 인터넷 데이터로 사전학습했다. 그런데 왜 그때는 ChatGPT 같은 게 안 나왔을까? 이번 글은 이 질문에 대한 답이다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. 파운데이션 모델을 한 ... Read More

개요 지난 글에서는 게임 개발 오케스트레이션을 Agent-first 구조로 다시 설계한 과정을 정리했다. 판단은 Codex가 맡고, MCP는 외부 도구를 다루며, 최종 승인과 재미 판단은 사람이 맡도록 책임을 나눴다. 구조를 가볍게 만든 이유는 멋진 설계도를 보여주기 위해서가 아니었다. 실제 게임을 더 빨리 만들고 고치기 위해서였다. 이제 그 구조 위에 올릴 게임의 방향이 조금 더 구체화됐다. 하나의 공통 스토리를 바탕으로 2D와 3D 버전을 동시에 만든다. 두 게임을 끝까지 모두 만드는 것은 아니다. 먼저 각각의 작은 MVP를 빠르게 만든 뒤, 더 좋은 경험을 주는 쪽을 골라 완성된 게임으로 키울 계획이다.... Read More

개요 블로그 글이 많아지면 검색창은 장식이 아니라 두 번째 목차가 된다. 그런데 이 검색창이 원하는 글을 못 찾기 시작했다. 처음에는 검색 결과가 무조건 최신 글부터 나왔다. 관련도 순으로 바꾸고 나니 이번에는 검색 자료가 너무 커졌다. 자료를 줄이려고 본문 대신 제목 헤더를 저장했더니, 혼동행렬처럼 글 안에 분명히 있는 제목이 검색되지 않았다. 겉으로 보면 모두 같은 문제처럼 보인다. “검색이 이상하다.” 하지만 실제 원인은 매번 달랐다. 정렬 규칙, 로딩 순서, 검색 자료의 크기, 빌드 과정의 자료 형태가 차례로 문제를 만들었다. 이 글은 그 문제들을 어떤 순서로 확인했고, 여러 해결 방법 중... Read More

개요 NAN(Next AI Network) 해커톤이 끝났다. 한 달 동안 만든 것은 게임 한 편이라기보다 게임을 만드는 AI 파이프라인에 가까웠다. 아이디어를 넣으면 기획하고, 기능 명세로 나누고, 코드를 만들고, 에셋을 생성하고, Unity에서 검증하는 흐름까지 연결했다. LangGraph 노드 16개와 여러 번의 검사·되돌림 과정도 만들었다. 당시에는 자동화 단계를 더 촘촘하게 잇는 것이 좋은 구조라고 생각했다. 그런데 실제 게임은 대부분 마지막 바이브 코딩 단계에서 완성됐다. 파이프라인은 돌아갔지만, 구조를 만든 우리조차 문제가 생겼을 때 어느 서버와 문서를 먼저 봐야 할지 헤매는 일이 생겼다. ... Read More

개요 지난 글까지 PyTorch로 모델을 만들고 학습시키는 데까지 왔다. 그런데 지금까지 다룬 데이터는 전부 이미 숫자였다. 텍스트는 다르다. 모델에 넣기 전에 글자를 숫자로 바꾸는 단계가 하나 더 필요하다. "오늘 학교에서 공부했다" ↓ 토큰화 — 조각으로 쪼갠다 ["오늘", "학교", "에서", "공부", "했다"] ↓ 사전 조회 — 번호를 붙인다 [1023, 887, 45, 2311, 908] ↓ 임베딩 — 벡터로 바꾼다 [[0.2, -1.4, ...], [0.5, 0.3, ...], ...] ↓ 모델 입력 이번 글은 이 세 단계를 코... Read More

개요 여기까지 오면서 Transformer라는 재료가 갖춰졌다. 이번 글은 그 재료를 어떻게 쓰느냐에 대한 이야기다. 그리고 이 지점에서 자연어처리의 방식이 통째로 바뀐다. 작업마다 모델을 만들던 시대 → 큰 모델 하나를 먼저 만들어두고 가져다 쓰는 시대 지금 우리가 쓰는 대화형 AI가 바로 이 흐름의 끝에 있다. 1편에서 “단어를 숫자로 어떻게 바꾸지?”로 시작한 이야기가 여기까지 이어진다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. 사전학습이란 사전학습(Pretraining) = 대규모 데이터로 일반적인 언어 능력을 먼저 익히게 하는 과정 ... Read More