삐에로의 지식창고

개요 세 편을 이어서 왔다. 30편은 모델에 읽을거리를 주는 이야기였고, 31편은 손을 달아주는 이야기였다. 남은 게 하나 있다. 에이전트는 무엇을 보고, 어떻게 계획을 세우고, 틀렸을 때 어떻게 되돌아오는가? 도구가 있어도 순서를 모르면 못 쓴다. 순서를 정했어도 중간에 틀리면 그대로 망한다. 이번 편은 그 머리에 해당하는 부분이다. 마지막에는 LangChain을 붙인다. 세 편에서 본 것들 — 검색, 도구, 계획 — 이 실제 코드에서 어디에 앉는지 지도를 그리고 끝낸다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. 환경 — 무엇으로 보여주고, 어떻게 이해... Read More

개요 30편은 모델에 무엇을 읽힐 것인가의 이야기였다. 검색해서 문서를 찾아 프롬프트에 넣어주는 것까지 봤다. 그런데 거기까지는 모델이 여전히 읽고 쓰기만 한다. 언어모델이 직접 밖을 건드리게 하려면, 무엇이 더 필요한가? 날씨를 알려주려면 날씨 API를 호출해야 하고, 계산을 정확히 하려면 계산기를 써야 한다. 문장을 아무리 잘 이어 써도 오늘 서울 기온은 모델 안에 없다. 이번 편은 그 손에 해당하는 것들이다. 에이전트가 무엇인지, 도구를 어떻게 쥐여주는지, 그리고 그 도구들이 제각각이라 생긴 혼란을 정리한 MCP까지 본다. 30편에서 다룬 RAG와 헷갈리기 쉬운데, 둘의 차이도 중간에 짚는다.... Read More

개요 26~29편은 어떤 모델을 고를 것인가의 이야기였다. 이번 차시부터 질문이 바뀐다. 모델이 모르는 것을, 어떻게 알게 할까? 답은 두 갈래다. 하나는 모델을 다시 학습시키는 것 — 29편에서 본 파인튜닝과 LoRA가 여기 속한다. 다른 하나는 모델 밖에 지식을 두고, 필요할 때 꺼내서 같이 넣어주는 것이다. 이번 편의 주제는 두 번째다. 두 번째가 왜 필요한지는 한 문장으로 설명된다. 학습은 비싸고 느린데, 세상은 매일 바뀐다. 어제 발표된 사실을 오늘 답하게 하려고 매번 모델을 다시 학습시킬 수는 없다. 이 방식을 RAG(Retrieval-augmented Generation, 검색증강생성)... Read More

개요 26~28편은 어떤 모델이 있는지의 이야기였다. 마지막 차시는 방향이 바뀐다. 좋은 모델을 골랐다. 그런데 내 문제에는 여전히 잘 안 맞는다. 어떻게 내 것으로 만들까? 강의가 든 예가 현실적이었다. 의료 영상은 개인정보 문제로 구하기 어렵고, 3D 데이터는 고가의 특수 장비가 없으면 취득 자체가 안 된다. 제조 현장의 불량 데이터는 애초에 몇 장 없다. 부족한 현실 데이터를 극복할 방법이 이번 편의 주제다. 두 갈래로 나뉜다. 하나는 적응 학습 — 모델을 조금만 손봐서 내 도메인에 맞추는 것. 다른 하나는 합성 데이터 — 없는 데이터를 만들어서 쓰는 것. 마지막에 배포까지 붙인다. 두 갈래 ... Read More

개요 27편까지 보면서 VLM이 뭘 할 수 있는지는 알게 됐다. 그런데 강의가 3차시를 이렇게 시작한다. VLM이 유용한 건 알겠는데, 너무 비싸다. 내 개인 컴퓨터나 스마트폰에서 실행할 모델은 없을까? 리더보드 1등 모델의 파라미터가 78B다. 서버용 GPU를 여러 장 꽂아야 돌아간다. 성능 순위와 내가 쓸 수 있느냐는 완전히 다른 문제다. 이번 글은 두 덩어리다. 앞쪽은 작게 만든 VLM(sVLM)과 한국어 모델 이야기고, 뒤쪽은 VLM 말고도 쓸 수 있는 이미지·영상 파운데이션 모델 목록이다. 자르는 모델(SAM), 찾는 모델(Grounding DINO), 만드는 모델(Diffusion)까지 훑... Read More

개요 26편에서 CLIP이 이미지와 문장을 같은 좌표계에 올린다는 것까지 봤다. 그러면 남는 질문은 이거다. 같은 좌표계에 올려놓은 다음, 그걸로 뭘 하나? 이번 글은 그 답 두 갈래를 따라간다. 하나는 CLIP의 유사도를 손실 함수로 재활용하는 길이고, 다른 하나는 CLIP의 인코더를 언어모델의 눈으로 붙이는 길이다. 앞쪽이 이미지 생성·편집 계열의 뿌리가 되고, 뒤쪽이 요즘 말하는 VLM(시각언어모델)이 된다. 중간에 CLIP의 손실 함수를 손본 SigLIP도 짚는다. 요즘 VLM들이 이미지 인코더로 CLIP 대신 SigLIP을 쓰는 경우가 많은데, 그 이유가 여기 있다. 20편에서 멀티모달 파... Read More

개요 22~25편은 모델을 내가 학습시키는 이야기였다. 어떤 구조를 쓸지(CNN, ViT), 어떻게 학습시킬지(초기화, 정규화, 학습률)를 봤다. 그런데 그 이야기에는 조용한 전제가 하나 깔려 있었다. 학습할 데이터와 GPU가 있다는 전제다. 이번 강의는 그 전제를 대놓고 깬다. 시작 질문이 이랬다. 학습 데이터도 계산 리소스도 없는 가난한 AI 서비스 회사가 이미지 AI 서비스를 만들려면, 어디서부터 시작해야 할까? 거기다 조건이 하나 더 붙는다. 기존 이미지 모델은 학습한 도메인과 비슷한 데이터에서만 잘 작동했다. 그런데 실제 서비스는 전혀 예측하지 못한 사진이 들어온다. 학습하지 않은 상황에서도... Read More

개요 요즘 포스팅에 AI의 도움을 받고 있다. 확실히 빠르고, 표나 비유를 만들어주니 읽기도 편해졌다. 그런데 다 쓰고 나서 읽어보면 묘하게 내 글이 아니었다. 내용은 맞는데 말투가 남의 것이었다! 읽기는 좋은데 내가 쓴 것 같지가 않다. 이게 왜 그런지 설명할 수가 없었다. 문제가 하나 더 있었다. 글 하나 쓸 때마다 말투는 이렇게, 형식은 저렇게, 수식은 이렇게 조심하라고 매번 처음부터 설명하고 있었다. 같은 말을 세 번쯤 반복하고 나니 이건 지시가 아니라 절차라는 생각이 들었다. 그래서 이번엔 글을 쓰는 대신 글 쓰는 절차를 만들었다. 이 글은 그 과정의 기록이다. 이번 글이 답할 질문 ... Read More