삐에로의 지식창고

개요 지난 글에서 두 가지를 적었다. 3D 트랙이 모델링 최적화 검토와 기획자 판단으로 무산돼 2D 단일 트랙이 됐다는 것, 그리고 남은 2D 기획 패키지를 적대적으로 검토해 계약의 구멍을 찾았다는 것이다. 추격 실패 판정이 없었고, 추격자의 움직임을 아무도 소유하지 않았고, 통과시킬 수 없는 합격 기준이 셋 있었다. 검토는 문제를 목록으로 만들 뿐이다. 목록은 결정이 되지 않으면 아무것도 바꾸지 않는다. 이번 글은 그 목록을 결정으로 바꾸고, 결정을 문서가 아니라 명세에 직접 박고, 3인이 8일 동안 실제로 손댈 수 있는 상태까지 만든 기록이다. 그 과정에서 계획 하나가 통째로 뒤집혔다. 1. 결정... Read More

개요 지난 글에서는 하나의 스토리를 2D와 3D로 나눠 각각 MVP를 만든 뒤, 플레이해보고 더 나은 쪽을 고르겠다고 적었다. 그 비교는 실행되지 않았다. 3D 트랙은 MVP를 만들기 전에 무산됐다. 계획과 결과가 다르면 다른 대로 남기겠다고 했으니 그 이야기부터 적는다. 그리고 남은 2D 쪽 기획이 1차 완료됐다. 최상위 게임 계약 문서 하나, 스테이지별 서사 설계 문서 하나, 기능 명세 15개. 분량으로 보면 꽤 그럴듯한 패키지가 나왔다. 그런데 여기서 한 가지를 확인해야 했다. “기획이 완성됐다”와 “이 기획으로 만들 수 있다”는 전혀 다른 말이다. 그래서 다음 작업을 구현이 아니라 적대적... Read More

개요 22~24편은 어떤 구조를 쓸 것인가의 이야기였다. 이번 글의 출발점은 이 한 줄이다. 같은 구조, 같은 데이터셋인데 성능이 크게 다르다. 왜? 좋은 모델을 골랐다고 좋은 결과가 나오지 않는다. 학습 과정에서 불안정, 과적합, 느린 수렴이 발생한다. 강의에서 이걸 요리에 비유했는데 꽤 정확하다. 재료(데이터)와 레시피(구조)가 같아도, 불 세기와 손맛(학습 전략)이 다르면 결과가 다르다. 이번 글은 그 손맛에 해당하는 것들 — 활성화 함수, 데이터 전처리, 초기화, 정규화, 학습률, 하이퍼파라미터 탐색 — 을 순서대로 본다. 마지막에는 실습에서 쓰는 전이학습까지 붙인다. 교육 자... Read More

개요 23편까지 CNN이 어떻게 좋아졌는지를 봤다. 이번 글은 반대 방향이다. CNN이 아무리 좋아져도 넘지 못한 선은 어디였나. 여기서 등장하는 이름들 — RNN, LSTM, Attention — 은 이 시리즈에서 이미 다룬 것들이다. 9편에서 RNN, 10편에서 LSTM, 12편에서 Attention, 13편에서 Transformer를 봤다. 그때는 문장을 다뤘다. 이번엔 같은 도구를 사진 앞에 놓는다. 개념 설명은 앞 글들에 맡기고, 여기서는 “이미지에서 이 도구가 무엇을 해결하는가”만 본다. 그래서 이 글은 앞 글의 반복이 아니라, 같은 아이디어가 다른 데이터에서 어떻게 다시 쓰이는지에 대한 ... Read More

개요 22편에서 CNN이 사진을 보는 방식을 봤다. 이번 글은 그 부품들로 사람들이 실제로 무엇을 만들었는지다. 모델 이름을 외우는 글이 아니다. 나는 이 계보가 네 번의 질문과 네 번의 대답이라고 생각한다. 연도 모델 던진 질문 대답 2012 AlexNet 깊은 CNN이 진짜 되나? 된다, GPU만 있으면 2014 VGG 어떻게 쌓는 게 좋은가? 작은 필터를 깊게 2015 ResN... Read More

개요 21편으로 텍스트와 멀티모달 이야기를 한 바퀴 돌았다. 이번 글부터는 영상(이미지) 모델이다. 그런데 시작하기 전에 솔직하게 밝힐 게 있다. CNN은 이미 7편에서 한 번 다뤘다. 그때는 “MLP로는 이미지가 잘 안 된다, 그래서 CNN이 있다” 정도의 지도였다. 이번엔 그 지도 위를 실제로 걸어본다. 필터가 한 칸씩 어떻게 움직이는지, 크기가 왜 줄어드는지, 층을 쌓으면 무엇이 넓어지는지, 그리고 연산량과 메모리가 어느 층에서 터지는지까지 본다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. ... Read More

개요 15~20편에서 텍스트 파운데이션 모델, 거대 언어 모델을 처음부터 끝까지 팠다. 그런데 14편에서 한 번 짚었듯, 파운데이션 모델은 언어에만 있는 게 아니다. 이미지에도 같은 흐름이 있었다. 이 글은 원래 14편에 함께 있었으나 분량이 커져 떼어냈다. 텍스트 시리즈를 마친 지금 읽으면 “큰 모델을 먼저 만들어 재사용한다” 는 발상이 언어와 이미지에서 어떻게 똑같이 반복되는지 보인다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 파운데이션 모델은 언어에만 있지 않다 파운데이션 모델의 ... Read More

개요 15편부터 시작한 텍스트 파운데이션 모델 이야기의 마지막이다. 지금까지 정의 → 학습 → 추론 → 평가를 봤다. 이번 글은 두 가지다. 이 모델들이 어디까지 확장되고 있는가(응용), 그리고 무엇을 아직 못 하는가(한계). 강력한 도구일수록 한계를 아는 것이 쓰는 사람의 몫이다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 응용 ① 멀티모달 파운데이션 모델 거대 언어 모델은 텍스트에만 머물지 않는다. GPT-4o가 대표적이다. 멀티모달 입력(이미지, 비디오, 오디오) → 멀티모... Read More