삐에로의 지식창고

개요 26~28편은 어떤 모델이 있는지의 이야기였다. 마지막 차시는 방향이 바뀐다. 좋은 모델을 골랐다. 그런데 내 문제에는 여전히 잘 안 맞는다. 어떻게 내 것으로 만들까? 강의가 든 예가 현실적이었다. 의료 영상은 개인정보 문제로 구하기 어렵고, 3D 데이터는 고가의 특수 장비가 없으면 취득 자체가 안 된다. 제조 현장의 불량 데이터는 애초에 몇 장 없다. 부족한 현실 데이터를 극복할 방법이 이번 편의 주제다. 두 갈래로 나뉜다. 하나는 적응 학습 — 모델을 조금만 손봐서 내 도메인에 맞추는 것. 다른 하나는 합성 데이터 — 없는 데이터를 만들어서 쓰는 것. 마지막에 배포까지 붙인다. 두 갈래 ... Read More

개요 27편까지 보면서 VLM이 뭘 할 수 있는지는 알게 됐다. 그런데 강의가 3차시를 이렇게 시작한다. VLM이 유용한 건 알겠는데, 너무 비싸다. 내 개인 컴퓨터나 스마트폰에서 실행할 모델은 없을까? 리더보드 1등 모델의 파라미터가 78B다. 서버용 GPU를 여러 장 꽂아야 돌아간다. 성능 순위와 내가 쓸 수 있느냐는 완전히 다른 문제다. 이번 글은 두 덩어리다. 앞쪽은 작게 만든 VLM(sVLM)과 한국어 모델 이야기고, 뒤쪽은 VLM 말고도 쓸 수 있는 이미지·영상 파운데이션 모델 목록이다. 자르는 모델(SAM), 찾는 모델(Grounding DINO), 만드는 모델(Diffusion)까지 훑... Read More

개요 26편에서 CLIP이 이미지와 문장을 같은 좌표계에 올린다는 것까지 봤다. 그러면 남는 질문은 이거다. 같은 좌표계에 올려놓은 다음, 그걸로 뭘 하나? 이번 글은 그 답 두 갈래를 따라간다. 하나는 CLIP의 유사도를 손실 함수로 재활용하는 길이고, 다른 하나는 CLIP의 인코더를 언어모델의 눈으로 붙이는 길이다. 앞쪽이 이미지 생성·편집 계열의 뿌리가 되고, 뒤쪽이 요즘 말하는 VLM(시각언어모델)이 된다. 중간에 CLIP의 손실 함수를 손본 SigLIP도 짚는다. 요즘 VLM들이 이미지 인코더로 CLIP 대신 SigLIP을 쓰는 경우가 많은데, 그 이유가 여기 있다. 20편에서 멀티모달 파... Read More

개요 22~25편은 모델을 내가 학습시키는 이야기였다. 어떤 구조를 쓸지(CNN, ViT), 어떻게 학습시킬지(초기화, 정규화, 학습률)를 봤다. 그런데 그 이야기에는 조용한 전제가 하나 깔려 있었다. 학습할 데이터와 GPU가 있다는 전제다. 이번 강의는 그 전제를 대놓고 깬다. 시작 질문이 이랬다. 학습 데이터도 계산 리소스도 없는 가난한 AI 서비스 회사가 이미지 AI 서비스를 만들려면, 어디서부터 시작해야 할까? 거기다 조건이 하나 더 붙는다. 기존 이미지 모델은 학습한 도메인과 비슷한 데이터에서만 잘 작동했다. 그런데 실제 서비스는 전혀 예측하지 못한 사진이 들어온다. 학습하지 않은 상황에서도... Read More

개요 요즘 포스팅에 AI의 도움을 받고 있다. 확실히 빠르고, 표나 비유를 만들어주니 읽기도 편해졌다. 그런데 다 쓰고 나서 읽어보면 묘하게 내 글이 아니었다. 내용은 맞는데 말투가 남의 것이었다! 읽기는 좋은데 내가 쓴 것 같지가 않다. 이게 왜 그런지 설명할 수가 없었다. 문제가 하나 더 있었다. 글 하나 쓸 때마다 말투는 이렇게, 형식은 저렇게, 수식은 이렇게 조심하라고 매번 처음부터 설명하고 있었다. 같은 말을 세 번쯤 반복하고 나니 이건 지시가 아니라 절차라는 생각이 들었다. 그래서 이번엔 글을 쓰는 대신 글 쓰는 절차를 만들었다. 이 글은 그 과정의 기록이다. 이번 글이 답할 질문 ... Read More

개요 지난 글에서 두 가지를 적었다. 3D 트랙이 모델링 최적화 검토와 기획자 판단으로 무산돼 2D 단일 트랙이 됐다는 것, 그리고 남은 2D 기획 패키지를 적대적으로 검토해 계약의 구멍을 찾았다는 것이다. 추격 실패 판정이 없었고, 추격자의 움직임을 아무도 소유하지 않았고, 통과시킬 수 없는 합격 기준이 셋 있었다. 검토는 문제를 목록으로 만들 뿐이다. 목록은 결정이 되지 않으면 아무것도 바꾸지 않는다. 이번 글은 그 목록을 결정으로 바꾸고, 결정을 문서가 아니라 명세에 직접 박고, 3인이 8일 동안 실제로 손댈 수 있는 상태까지 만든 기록이다. 그 과정에서 계획 하나가 통째로 뒤집혔다. 1. 결정... Read More

개요 지난 글에서는 하나의 스토리를 2D와 3D로 나눠 각각 MVP를 만든 뒤, 플레이해보고 더 나은 쪽을 고르겠다고 적었다. 그 비교는 실행되지 않았다. 3D 트랙은 MVP를 만들기 전에 무산됐다. 계획과 결과가 다르면 다른 대로 남기겠다고 했으니 그 이야기부터 적는다. 그리고 남은 2D 쪽 기획이 1차 완료됐다. 최상위 게임 계약 문서 하나, 스테이지별 서사 설계 문서 하나, 기능 명세 15개. 분량으로 보면 꽤 그럴듯한 패키지가 나왔다. 그런데 여기서 한 가지를 확인해야 했다. “기획이 완성됐다”와 “이 기획으로 만들 수 있다”는 전혀 다른 말이다. 그래서 다음 작업을 구현이 아니라 적대적... Read More

개요 22~24편은 어떤 구조를 쓸 것인가의 이야기였다. 이번 글의 출발점은 이 한 줄이다. 같은 구조, 같은 데이터셋인데 성능이 크게 다르다. 왜? 좋은 모델을 골랐다고 좋은 결과가 나오지 않는다. 학습 과정에서 불안정, 과적합, 느린 수렴이 발생한다. 강의에서 이걸 요리에 비유했는데 꽤 정확하다. 재료(데이터)와 레시피(구조)가 같아도, 불 세기와 손맛(학습 전략)이 다르면 결과가 다르다. 이번 글은 그 손맛에 해당하는 것들 — 활성화 함수, 데이터 전처리, 초기화, 정규화, 학습률, 하이퍼파라미터 탐색 — 을 순서대로 본다. 마지막에는 실습에서 쓰는 전이학습까지 붙인다. 교육 자... Read More