삐에로의 지식창고

개요 NAN(Next AI Network) 해커톤이 끝났다. 한 달 동안 만든 것은 게임 한 편이라기보다 게임을 만드는 AI 파이프라인에 가까웠다. 아이디어를 넣으면 기획하고, 기능 명세로 나누고, 코드를 만들고, 에셋을 생성하고, Unity에서 검증하는 흐름까지 연결했다. LangGraph 노드 16개와 여러 번의 검사·되돌림 과정도 만들었다. 당시에는 자동화 단계를 더 촘촘하게 잇는 것이 좋은 구조라고 생각했다. 그런데 실제 게임은 대부분 마지막 바이브 코딩 단계에서 완성됐다. 파이프라인은 돌아갔지만, 구조를 만든 우리조차 문제가 생겼을 때 어느 서버와 문서를 먼저 봐야 할지 헤매는 일이 생겼다. ... Read More

개요 지난 글까지 PyTorch로 모델을 만들고 학습시키는 데까지 왔다. 그런데 지금까지 다룬 데이터는 전부 이미 숫자였다. 텍스트는 다르다. 모델에 넣기 전에 글자를 숫자로 바꾸는 단계가 하나 더 필요하다. "오늘 학교에서 공부했다" ↓ 토큰화 — 조각으로 쪼갠다 ["오늘", "학교", "에서", "공부", "했다"] ↓ 사전 조회 — 번호를 붙인다 [1023, 887, 45, 2311, 908] ↓ 임베딩 — 벡터로 바꾼다 [[0.2, -1.4, ...], [0.5, 0.3, ...], ...] ↓ 모델 입력 이번 글은 이 세 단계를 코... Read More

개요 여기까지 오면서 Transformer라는 재료가 갖춰졌다. 이번 글은 그 재료를 어떻게 쓰느냐에 대한 이야기다. 그리고 이 지점에서 자연어처리의 방식이 통째로 바뀐다. 작업마다 모델을 만들던 시대 → 큰 모델 하나를 먼저 만들어두고 가져다 쓰는 시대 지금 우리가 쓰는 대화형 AI가 바로 이 흐름의 끝에 있다. 1편에서 “단어를 숫자로 어떻게 바꾸지?”로 시작한 이야기가 여기까지 이어진다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 사전학습이란 사전학습(Pretraining) ... Read More

개요 지난 글 끝에서 던진 질문이 이번 글의 출발점이다. RNN이 하던 “정보 전달”을 Attention이 더 잘한다면, 굳이 RNN이 필요할까? 2017년에 나온 논문 제목이 그 답을 대놓고 말한다. “Attention Is All You Need” — Attention만 있으면 된다. 이번 글에서는 그 주장이 어떻게 성립하는지, 그리고 그렇게 만든 구조인 Transformer를 정리한다. 지금 우리가 쓰는 거의 모든 언어 모델이 이 구조 위에 있다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. ... Read More

개요 지난 글 마지막에 Seq2Seq의 문제를 하나 남겨뒀다. 문장 전체를 벡터 하나에 밀어 넣는다. 이번 글은 그 문제를 뚫은 Attention이다. 개인적으로는 이 시리즈에서 가장 중요한 아이디어라고 생각한다. 다음 글의 Transformer도, 지금의 대화형 AI도 전부 이 아이디어 위에 올라가 있기 때문이다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 병목 문제 먼저 문제를 정확히 보자. Seq2Seq에서 인코더는 문장을 끝까지 읽고 마지막 요약 벡터 하나를 만든다. 디코더는... Read More

개요 여기까지 단어를 벡터로 바꾸고(임베딩), 순서를 처리하는 구조(RNN·LSTM)를 봤다. 도구는 갖춰졌다. 이번 글에서는 시선을 조금 넓힌다. 그 도구들로 무엇을 만들 것인가에 대한 이야기다. 언어 모델 — 자연어를 다루는 거의 모든 것의 뿌리 Seq2Seq — 문장을 받아 문장을 만들어내는 구조 두 번째가 특히 중요하다. 번역기, 요약, 챗봇이 전부 이 구조에서 출발했다. 지금 우리가 쓰는 대화형 AI의 조상 격이다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 직접 그렸다. 1. 언어 모델이란... Read More

개요 지난 글에서 RNN이 남긴 숙제를 확인했다. 멀리 있는 단어를 기억하지 못한다. 원인은 구조에 있었다. RNN은 메모(hidden state) 하나에 모든 걸 담아 다음 단계로 넘긴다. 매 단계마다 새 단어와 섞이면서 예전 내용이 조금씩 덮어써지고, 거슬러 올라가며 배울 때는 신호가 곱해지며 사라진다. 이번 글은 그 숙제에 대한 답인 LSTM이다. 1997년에 나온, 꽤 오래된 구조다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 핵심 아이디어 — 통로를 둘로 나눈다 LSTM의 이름... Read More

개요 지난 글에서 단어를 벡터로 바꾸는 데까지 왔다. 이제 단어 하나하나는 숫자 덩어리가 됐다. 그런데 문장은 단어의 모음이지, 단어가 아니다. 벡터를 그냥 한 줄로 늘어놓거나 평균을 내버리면 아주 곤란한 일이 생긴다. 두 문장에 쓰인 단어는 완전히 똑같다. 바뀐 건 자리뿐인데 상황은 정반대다. 단어 벡터를 그냥 더하거나 평균 내면 두 문장이 같은 값이 되어버린다. 이번 글의 주제는 순서다. 왜 순서가 이렇게 결정적인지, 그리고 순서를 다루기 위해 등장한 RNN이 어떤 구조인지 정리한다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했... Read More