삐에로의 지식창고

개요 22~24편은 어떤 구조를 쓸 것인가의 이야기였다. 이번 글의 출발점은 이 한 줄이다. 같은 구조, 같은 데이터셋인데 성능이 크게 다르다. 왜? 좋은 모델을 골랐다고 좋은 결과가 나오지 않는다. 학습 과정에서 불안정, 과적합, 느린 수렴이 발생한다. 강의에서 이걸 요리에 비유했는데 꽤 정확하다. 재료(데이터)와 레시피(구조)가 같아도, 불 세기와 손맛(학습 전략)이 다르면 결과가 다르다. 이번 글은 그 손맛에 해당하는 것들 — 활성화 함수, 데이터 전처리, 초기화, 정규화, 학습률, 하이퍼파라미터 탐색 — 을 순서대로 본다. 마지막에는 실습에서 쓰는 전이학습까지 붙인다. 교육 자... Read More

개요 23편까지 CNN이 어떻게 좋아졌는지를 봤다. 이번 글은 반대 방향이다. CNN이 아무리 좋아져도 넘지 못한 선은 어디였나. 여기서 등장하는 이름들 — RNN, LSTM, Attention — 은 이 시리즈에서 이미 다룬 것들이다. 9편에서 RNN, 10편에서 LSTM, 12편에서 Attention, 13편에서 Transformer를 봤다. 그때는 문장을 다뤘다. 이번엔 같은 도구를 사진 앞에 놓는다. 개념 설명은 앞 글들에 맡기고, 여기서는 “이미지에서 이 도구가 무엇을 해결하는가”만 본다. 그래서 이 글은 앞 글의 반복이 아니라, 같은 아이디어가 다른 데이터에서 어떻게 다시 쓰이는지에 대한 ... Read More

개요 22편에서 CNN이 사진을 보는 방식을 봤다. 이번 글은 그 부품들로 사람들이 실제로 무엇을 만들었는지다. 모델 이름을 외우는 글이 아니다. 나는 이 계보가 네 번의 질문과 네 번의 대답이라고 생각한다. 연도 모델 던진 질문 대답 2012 AlexNet 깊은 CNN이 진짜 되나? 된다, GPU만 있으면 2014 VGG 어떻게 쌓는 게 좋은가? 작은 필터를 깊게 2015 ResN... Read More

개요 21편으로 텍스트와 멀티모달 이야기를 한 바퀴 돌았다. 이번 글부터는 영상(이미지) 모델이다. 그런데 시작하기 전에 솔직하게 밝힐 게 있다. CNN은 이미 7편에서 한 번 다뤘다. 그때는 “MLP로는 이미지가 잘 안 된다, 그래서 CNN이 있다” 정도의 지도였다. 이번엔 그 지도 위를 실제로 걸어본다. 필터가 한 칸씩 어떻게 움직이는지, 크기가 왜 줄어드는지, 층을 쌓으면 무엇이 넓어지는지, 그리고 연산량과 메모리가 어느 층에서 터지는지까지 본다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. ... Read More

개요 15~20편에서 텍스트 파운데이션 모델, 거대 언어 모델을 처음부터 끝까지 팠다. 그런데 14편에서 한 번 짚었듯, 파운데이션 모델은 언어에만 있는 게 아니다. 이미지에도 같은 흐름이 있었다. 이 글은 원래 14편에 함께 있었으나 분량이 커져 떼어냈다. 텍스트 시리즈를 마친 지금 읽으면 “큰 모델을 먼저 만들어 재사용한다” 는 발상이 언어와 이미지에서 어떻게 똑같이 반복되는지 보인다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 파운데이션 모델은 언어에만 있지 않다 파운데이션 모델의 ... Read More

개요 15편부터 시작한 텍스트 파운데이션 모델 이야기의 마지막이다. 지금까지 정의 → 학습 → 추론 → 평가를 봤다. 이번 글은 두 가지다. 이 모델들이 어디까지 확장되고 있는가(응용), 그리고 무엇을 아직 못 하는가(한계). 강력한 도구일수록 한계를 아는 것이 쓰는 사람의 몫이다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 응용 ① 멀티모달 파운데이션 모델 거대 언어 모델은 텍스트에만 머물지 않는다. GPT-4o가 대표적이다. 멀티모달 입력(이미지, 비디오, 오디오) → 멀티모... Read More

개요 18편까지 거대 언어 모델을 만들고 쓰는 법을 봤다. 이번 글은 잘 되고 있는지 어떻게 아는가다. 이게 생각보다 어려운 문제다. 감정 분류는 정답이 있다. 맞았는지 틀렸는지 세면 된다. 그런데 “해리포터 1권을 5문장으로 요약해줘” 의 정답은 뭘까? 정답이 없는 작업을 채점하는 이야기다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 평가의 세 가지 요소 평가(Evaluation) = 구축한 시스템이 실제로 잘 동작하는지 확인하는 단계 무엇을 평가하든 세 가지가 필요하다. ... Read More

개요 17편은 모델이 준 확률을 어떻게 고를 것인가의 이야기였다. 이번 글은 그 앞단이다. 애초에 모델에게 무엇을 넣을 것인가. 같은 모델에 같은 질문을 해도 어떻게 물어보느냐에 따라 답이 완전히 달라진다. 그래서 이게 하나의 기술 분야가 됐다. 프롬프트 엔지니어링 = 원하는 답을 얻기 위해 모델에 주어지는 입력(프롬프트)을 설계·조정하는 기법 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 개념 흐름만 내가 이해한 방식으로 재구성했고, 그림은 전부 생성했다. 1. 프롬프트의 해부 프롬프트를 뜯어보면 두 조각으로 나뉜다. 입력 프롬프트 = (1) ... Read More