삐에로의 지식창고

개요 여기까지 오면서 Transformer라는 재료가 갖춰졌다. 이번 글은 그 재료를 어떻게 쓰느냐에 대한 이야기다. 그리고 이 지점에서 자연어처리의 방식이 통째로 바뀐다. 작업마다 모델을 만들던 시대 → 큰 모델 하나를 먼저 만들어두고 가져다 쓰는 시대 지금 우리가 쓰는 대화형 AI가 바로 이 흐름의 끝에 있다. 1편에서 “단어를 숫자로 어떻게 바꾸지?”로 시작한 이야기가 여기까지 이어진다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 사전학습이란 사전학습(Pretraining) ... Read More

개요 지난 글 끝에서 던진 질문이 이번 글의 출발점이다. RNN이 하던 “정보 전달”을 Attention이 더 잘한다면, 굳이 RNN이 필요할까? 2017년에 나온 논문 제목이 그 답을 대놓고 말한다. “Attention Is All You Need” — Attention만 있으면 된다. 이번 글에서는 그 주장이 어떻게 성립하는지, 그리고 그렇게 만든 구조인 Transformer를 정리한다. 지금 우리가 쓰는 거의 모든 언어 모델이 이 구조 위에 있다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. ... Read More

개요 지난 글 마지막에 Seq2Seq의 문제를 하나 남겨뒀다. 문장 전체를 벡터 하나에 밀어 넣는다. 이번 글은 그 문제를 뚫은 Attention이다. 개인적으로는 이 시리즈에서 가장 중요한 아이디어라고 생각한다. 다음 글의 Transformer도, 지금의 대화형 AI도 전부 이 아이디어 위에 올라가 있기 때문이다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 병목 문제 먼저 문제를 정확히 보자. Seq2Seq에서 인코더는 문장을 끝까지 읽고 마지막 요약 벡터 하나를 만든다. 디코더는... Read More

개요 여기까지 단어를 벡터로 바꾸고(임베딩), 순서를 처리하는 구조(RNN·LSTM)를 봤다. 도구는 갖춰졌다. 이번 글에서는 시선을 조금 넓힌다. 그 도구들로 무엇을 만들 것인가에 대한 이야기다. 언어 모델 — 자연어를 다루는 거의 모든 것의 뿌리 Seq2Seq — 문장을 받아 문장을 만들어내는 구조 두 번째가 특히 중요하다. 번역기, 요약, 챗봇이 전부 이 구조에서 출발했다. 지금 우리가 쓰는 대화형 AI의 조상 격이다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 직접 그렸다. 1. 언어 모델이란... Read More

개요 지난 글에서 RNN이 남긴 숙제를 확인했다. 멀리 있는 단어를 기억하지 못한다. 원인은 구조에 있었다. RNN은 메모(hidden state) 하나에 모든 걸 담아 다음 단계로 넘긴다. 매 단계마다 새 단어와 섞이면서 예전 내용이 조금씩 덮어써지고, 거슬러 올라가며 배울 때는 신호가 곱해지며 사라진다. 이번 글은 그 숙제에 대한 답인 LSTM이다. 1997년에 나온, 꽤 오래된 구조다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 핵심 아이디어 — 통로를 둘로 나눈다 LSTM의 이름... Read More

개요 지난 글에서 단어를 벡터로 바꾸는 데까지 왔다. 이제 단어 하나하나는 숫자 덩어리가 됐다. 그런데 문장은 단어의 모음이지, 단어가 아니다. 벡터를 그냥 한 줄로 늘어놓거나 평균을 내버리면 아주 곤란한 일이 생긴다. 두 문장에 쓰인 단어는 완전히 똑같다. 바뀐 건 자리뿐인데 상황은 정반대다. 단어 벡터를 그냥 더하거나 평균 내면 두 문장이 같은 값이 되어버린다. 이번 글의 주제는 순서다. 왜 순서가 이렇게 결정적인지, 그리고 순서를 다루기 위해 등장한 RNN이 어떤 구조인지 정리한다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했... Read More

개요 앞선 시리즈에서 신경망이 결국 숫자를 받아 숫자를 뱉는 함수라는 걸 정리했다. 그런데 여기서 아주 기본적인 질문이 생긴다. “안녕하세요”는 몇 번인가? 이미지는 픽셀 밝기가 이미 숫자다. 소리도 진폭이 숫자다. 그런데 글자는 그렇지 않다. 컴퓨터에 “사과”를 넣으려면 누군가는 이걸 숫자로 바꿔야 한다. 자연어처리는 바로 이 지점에서 시작한다. 이번 글의 주제는 “단어를 어떻게 숫자로 바꿀 것인가”다. 별것 아닌 문제처럼 보이는데, 여기서 고른 방식이 모델이 언어를 얼마나 이해할 수 있는지의 한계를 결정한다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 ... Read More

개요 2026.07.10 ~ 2026.08.09, 31일. 사전 과제 제출을 마쳤다. 15편에 걸쳐 적어온 내용을 한 번 정리하고, 다음에 반드시 다르게 할 것을 남기는 편이다. 제출물 한 줄 요약 AI로 게임을 만든 것이 아니라, 게임을 만드는 AI 파이프라인을 만들었다. 게임 : Slime Ranch (슬라임 목장) · Unity 6000.5.5f1 · 2D URP 게임 저장소 : ys143112/Slime 오케스트레이터(비공개) : min-0o0/Game-Developer-AI 결국 어떤 구조였나 개발을 두 단계로 나눴다. 1단계 · 자동 생성 — 아이디어 한 줄을 넣으면 기획... Read More