삐에로의 지식창고

개요 지난 글 끝에서 던진 질문이 이번 글의 출발점이다. RNN이 하던 “정보 전달”을 Attention이 더 잘한다면, 굳이 RNN이 필요할까? 2017년에 나온 논문 제목이 그 답을 대놓고 말한다. “Attention Is All You Need” — Attention만 있으면 된다. 이번 글에서는 그 주장이 어떻게 성립하는지, 그리고 그렇게 만든 구조인 Transformer를 정리한다. 지금 우리가 쓰는 거의 모든 언어 모델이 이 구조 위에 있다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. RNN을 빼야 하는 두 가지 이유 Attention을 붙였어... Read More

개요 지난 글 마지막에 Seq2Seq의 문제를 하나 남겨뒀다. 문장 전체를 벡터 하나에 밀어 넣는다. 이번 글은 그 문제를 뚫은 Attention이다. 개인적으로는 이 시리즈에서 가장 중요한 아이디어라고 생각한다. 다음 글의 Transformer도, 지금의 대화형 AI도 전부 이 아이디어 위에 올라가 있기 때문이다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. 병목 문제 먼저 문제를 정확히 보자. Seq2Seq에서 인코더는 문장을 끝까지 읽고 마지막 요약 벡터 하나를 만든다. 디코더는 오직 그 벡터만 보고 번역문 전체를 써야 한다. 문제는 벡터 크기가... Read More

개요 여기까지 단어를 벡터로 바꾸고(임베딩), 순서를 처리하는 구조(RNN·LSTM)를 봤다. 도구는 갖춰졌다. 이번 글에서는 시선을 조금 넓힌다. 그 도구들로 무엇을 만들 것인가에 대한 이야기다. 언어 모델 — 자연어를 다루는 거의 모든 것의 뿌리 Seq2Seq — 문장을 받아 문장을 만들어내는 구조 두 번째가 특히 중요하다. 번역기, 요약, 챗봇이 전부 이 구조에서 출발했다. 지금 우리가 쓰는 대화형 AI의 조상 격이다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. 언어 모델이란 이름은 거창한데 하는 일은 하나다. 언어 모델(Language ... Read More

개요 지난 글에서 RNN이 남긴 숙제를 확인했다. 멀리 있는 단어를 기억하지 못한다. 원인은 구조에 있었다. RNN은 메모(hidden state) 하나에 모든 걸 담아 다음 단계로 넘긴다. 매 단계마다 새 단어와 섞이면서 예전 내용이 조금씩 덮어써지고, 거슬러 올라가며 배울 때는 신호가 곱해지며 사라진다. 이번 글은 그 숙제에 대한 답인 LSTM이다. 1997년에 나온, 꽤 오래된 구조다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. 핵심 아이디어 — 통로를 둘로 나눈다 LSTM의 이름은 Long Short-Term Memory, 우리말로 장단기 기억이다... Read More

개요 지난 글에서 단어를 벡터로 바꾸는 데까지 왔다. 이제 단어 하나하나는 숫자 덩어리가 됐다. 그런데 문장은 단어의 모음이지, 단어가 아니다. 벡터를 그냥 한 줄로 늘어놓거나 평균을 내버리면 아주 곤란한 일이 생긴다. 두 문장에 쓰인 단어는 완전히 똑같다. 바뀐 건 자리뿐인데 상황은 정반대다. 단어 벡터를 그냥 더하거나 평균 내면 두 문장이 같은 값이 되어버린다. 이번 글의 주제는 순서다. 왜 순서가 이렇게 결정적인지, 그리고 순서를 다루기 위해 등장한 RNN이 어떤 구조인지 정리한다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. 순차적 데이터란 순차적... Read More

개요 앞선 시리즈에서 신경망이 결국 숫자를 받아 숫자를 뱉는 함수라는 걸 정리했다. 그런데 여기서 아주 기본적인 질문이 생긴다. “안녕하세요”는 몇 번인가? 이미지는 픽셀 밝기가 이미 숫자다. 소리도 진폭이 숫자다. 그런데 글자는 그렇지 않다. 컴퓨터에 “사과”를 넣으려면 누군가는 이걸 숫자로 바꿔야 한다. 자연어처리는 바로 이 지점에서 시작한다. 이번 글의 주제는 “단어를 어떻게 숫자로 바꿀 것인가”다. 별것 아닌 문제처럼 보이는데, 여기서 고른 방식이 모델이 언어를 얼마나 이해할 수 있는지의 한계를 결정한다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. ... Read More

개요 2026.07.10 ~ 2026.08.09, 31일. 사전 과제 제출을 마쳤다. 15편에 걸쳐 적어온 내용을 한 번 정리하고, 다음에 반드시 다르게 할 것을 남기는 편이다. 제출물 한 줄 요약 AI로 게임을 만든 것이 아니라, 게임을 만드는 AI 파이프라인을 만들었다. 게임 : Slime Ranch (슬라임 목장) · Unity 6000.5.5f1 · 2D URP 게임 저장소 : ys143112/Slime 오케스트레이터(비공개) : min-0o0/Game-Developer-AI 결국 어떤 구조였나 개발을 두 단계로 나눴다. 1단계 · 자동 생성 — 아이디어 한 줄을 넣으면 기획... Read More

개요 지난 글에서 텐서와 모델까지 만들었다. 이제 실제로 학습을 돌릴 차례다. 학습 루프 코드는 인터넷에 널려 있다. 복사해서 붙이면 돌아간다. 그런데 그렇게 쓰다 보면 반드시 이런 순간이 온다. “이 세 줄 순서를 바꾸면 어떻게 되지?” “왜 loss는 줄어드는데 정확도가 안 오르지?” 이번 글은 그 세 줄의 순서를 뜯어보고, 그다음 GPU를 쓰다 만나는 에러를 3분 만에 잡는 방법을 정리한다. 1. Dataset과 DataLoader 먼저 데이터를 배치로 나누는 도구부터다. 왜 배치로 나누나 데이터가 10만 개인데 한 번에 다 넣으면 두 가지가 터진다. 메모리가 감당을 못 한다 ... Read More