삐에로의 지식창고

개요 33편은 에이전트를 여럿 붙이는 이야기였다. 이번 편은 그 하나하나를 어떻게 훈련시키느냐로 돌아온다. 31편 끝에서 이렇게 적어뒀었다. “지도 학습을 넘어 에이전트 행동에 강화학습을 적용하는 쪽”이 있다고. 그 다음 이야기가 이번 자료에 있었다. 도구 쓰는 법을 사람이 안 가르치면, 모델은 무엇을 보고 배우는가? 그리고 그렇게 배운 모델은 왜 말이 길어지는가? 두 질문이 이어져 있다. 잘 배운 모델일수록 더 오래 생각하고, 오래 생각할수록 더 비싸진다. 그 균형을 잡는 게 이번 편의 후반부다. 마지막에는 지금까지 본 걸 전부 붙인 물건 하나를 본다. Deep Research다. 교육 자... Read More

개요 30~32편은 에이전트 하나를 잘 만드는 이야기였다. 읽을거리를 주고(30편), 손을 달아주고(31편), 계획을 세우게 했다(32편). 그런데 이번 자료는 시작부터 방향이 다르다. 하나를 더 똑똑하게 만드는 대신, 여러 개를 붙여보자는 것이다. 에이전트를 여럿 두면 뭐가 달라지고, 그 사이는 무엇으로 채워야 하는가? 솔직히 처음엔 시큰둥했다. 하나도 제대로 안 도는데 여러 개를 붙인다고 나아지나 싶었다. 그런데 읽다 보니 예전에 게임 서버 만들면서 고민했던 것들이 그대로 나왔다. 중앙 서버를 둘 것인가, 노드끼리 직접 붙일 것인가. 문제가 판박이였다! 이번 편은 그 이야기다. 다음 편(34편)... Read More

개요 세 편을 이어서 왔다. 30편은 모델에 읽을거리를 주는 이야기였고, 31편은 손을 달아주는 이야기였다. 남은 게 하나 있다. 에이전트는 무엇을 보고, 어떻게 계획을 세우고, 틀렸을 때 어떻게 되돌아오는가? 도구가 있어도 순서를 모르면 못 쓴다. 순서를 정했어도 중간에 틀리면 그대로 망한다. 이번 편은 그 머리에 해당하는 부분이다. 마지막에는 LangChain을 붙인다. 세 편에서 본 것들 — 검색, 도구, 계획 — 이 실제 코드에서 어디에 앉는지 지도를 그리고 끝낸다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. 환경 — 무엇으로 보여주고, 어떻게 이해... Read More

개요 30편은 모델에 무엇을 읽힐 것인가의 이야기였다. 검색해서 문서를 찾아 프롬프트에 넣어주는 것까지 봤다. 그런데 거기까지는 모델이 여전히 읽고 쓰기만 한다. 언어모델이 직접 밖을 건드리게 하려면, 무엇이 더 필요한가? 날씨를 알려주려면 날씨 API를 호출해야 하고, 계산을 정확히 하려면 계산기를 써야 한다. 문장을 아무리 잘 이어 써도 오늘 서울 기온은 모델 안에 없다. 이번 편은 그 손에 해당하는 것들이다. 에이전트가 무엇인지, 도구를 어떻게 쥐여주는지, 그리고 그 도구들이 제각각이라 생긴 혼란을 정리한 MCP까지 본다. 30편에서 다룬 RAG와 헷갈리기 쉬운데, 둘의 차이도 중간에 짚는다.... Read More

개요 26~29편은 어떤 모델을 고를 것인가의 이야기였다. 이번 차시부터 질문이 바뀐다. 모델이 모르는 것을, 어떻게 알게 할까? 답은 두 갈래다. 하나는 모델을 다시 학습시키는 것 — 29편에서 본 파인튜닝과 LoRA가 여기 속한다. 다른 하나는 모델 밖에 지식을 두고, 필요할 때 꺼내서 같이 넣어주는 것이다. 이번 편의 주제는 두 번째다. 두 번째가 왜 필요한지는 한 문장으로 설명된다. 학습은 비싸고 느린데, 세상은 매일 바뀐다. 어제 발표된 사실을 오늘 답하게 하려고 매번 모델을 다시 학습시킬 수는 없다. 이 방식을 RAG(Retrieval-augmented Generation, 검색증강생성)... Read More

개요 26~28편은 어떤 모델이 있는지의 이야기였다. 마지막 차시는 방향이 바뀐다. 좋은 모델을 골랐다. 그런데 내 문제에는 여전히 잘 안 맞는다. 어떻게 내 것으로 만들까? 강의가 든 예가 현실적이었다. 의료 영상은 개인정보 문제로 구하기 어렵고, 3D 데이터는 고가의 특수 장비가 없으면 취득 자체가 안 된다. 제조 현장의 불량 데이터는 애초에 몇 장 없다. 부족한 현실 데이터를 극복할 방법이 이번 편의 주제다. 두 갈래로 나뉜다. 하나는 적응 학습 — 모델을 조금만 손봐서 내 도메인에 맞추는 것. 다른 하나는 합성 데이터 — 없는 데이터를 만들어서 쓰는 것. 마지막에 배포까지 붙인다. 두 갈래 ... Read More

개요 27편까지 보면서 VLM이 뭘 할 수 있는지는 알게 됐다. 그런데 강의가 3차시를 이렇게 시작한다. VLM이 유용한 건 알겠는데, 너무 비싸다. 내 개인 컴퓨터나 스마트폰에서 실행할 모델은 없을까? 리더보드 1등 모델의 파라미터가 78B다. 서버용 GPU를 여러 장 꽂아야 돌아간다. 성능 순위와 내가 쓸 수 있느냐는 완전히 다른 문제다. 이번 글은 두 덩어리다. 앞쪽은 작게 만든 VLM(sVLM)과 한국어 모델 이야기고, 뒤쪽은 VLM 말고도 쓸 수 있는 이미지·영상 파운데이션 모델 목록이다. 자르는 모델(SAM), 찾는 모델(Grounding DINO), 만드는 모델(Diffusion)까지 훑... Read More

개요 26편에서 CLIP이 이미지와 문장을 같은 좌표계에 올린다는 것까지 봤다. 그러면 남는 질문은 이거다. 같은 좌표계에 올려놓은 다음, 그걸로 뭘 하나? 이번 글은 그 답 두 갈래를 따라간다. 하나는 CLIP의 유사도를 손실 함수로 재활용하는 길이고, 다른 하나는 CLIP의 인코더를 언어모델의 눈으로 붙이는 길이다. 앞쪽이 이미지 생성·편집 계열의 뿌리가 되고, 뒤쪽이 요즘 말하는 VLM(시각언어모델)이 된다. 중간에 CLIP의 손실 함수를 손본 SigLIP도 짚는다. 요즘 VLM들이 이미지 인코더로 CLIP 대신 SigLIP을 쓰는 경우가 많은데, 그 이유가 여기 있다. 20편에서 멀티모달 파... Read More