삐에로의 지식창고

개요 35편에서 숫자를 담는 법을, 36편에서 모델을 줄이는 법을 봤다. 이번이 마지막 편이다. 줄인 모델을 내 것으로 만드는 법. 경량화까지는 어떻게든 됐다고 치자. 그런데 서비스를 만들려면 그다음 문제가 남는다. 범용 모델은 일반적인 능력은 강하지만, 특정 도메인에 특화시키려면 조정이 필요하다. 사내 문서를 이해해야 한다거나, 특정 말투로 답해야 한다거나. 새로 모델을 만들 수는 없다. 그럼 있는 모델을 튜닝해야 하는데, 700억 개짜리 모델의 가중치를 전부 갱신하는 건 사실상 처음부터 학습하는 것과 비슷한 비용이 든다. 이번 글이 답할 질문 모델 전체를 건드리지 않고 모델을 내 것으로 만들 수 있... Read More

개요 35편은 숫자를 어떻게 담느냐의 이야기였다. 2의 보수, 고정소수점, 부동소수점, 그리고 GPU가 세대마다 더 짧은 포맷을 하나씩 늘려온 이유까지. 이번 편은 그 다음이다. 담는 법을 알았으니 이제 줄인다. 자료에서 이 대목을 꺼내는 방식이 인상적이었다. 기법을 바로 설명하지 않고, 먼저 “안 줄이면 어떻게 되는지” 를 그래프 몇 장으로 보여준다. 모델 파라미터는 매년 커지고, 학습 비용은 연 2.4배씩 오르고, 2030년쯤이면 전력·칩 생산량·데이터가 각각 한계에 부딪힌다는 예측까지. 읽고 나면 결론이 하나로 모인다. 이번 글이 답할 질문 경량화는 왜 선택이 아니라 필수가 됐을까? 그리고 정말... Read More

개요 30~34편은 에이전트를 어떻게 굴리느냐의 이야기였다. 읽을거리를 주고, 손을 달아주고, 계획을 세우게 하고, 여럿을 붙이고, 강화학습으로 훈련시켰다. 그런데 그 시리즈를 쓰는 내내 같은 단어가 계속 나왔다. 비용. 에이전트를 하나 더 붙이면 토큰이 몇 배로 늘고, 모델을 하나 더 띄우면 GPU가 하나 더 필요하다. 33편에서 다중 에이전트의 단점으로 적어뒀던 것도 결국 그거였다. 이번 자료는 그 비용을 정면으로 다룬다. 제목이 “리소스 효율적 AI모델”이다. 모델을 어떻게 줄일 것인가, 줄이면 뭘 잃는가, 그러면서도 어떻게 튜닝할 것인가. 그런데 자료의 1번 챕터가 “컴퓨터의 수 체계”였다. 고정소수... Read More

개요 33편은 에이전트를 여럿 붙이는 이야기였다. 이번 편은 그 하나하나를 어떻게 훈련시키느냐로 돌아온다. 31편 끝에서 이렇게 적어뒀었다. “지도 학습을 넘어 에이전트 행동에 강화학습을 적용하는 쪽”이 있다고. 그 다음 이야기가 이번 자료에 있었다. 도구 쓰는 법을 사람이 안 가르치면, 모델은 무엇을 보고 배우는가? 그리고 그렇게 배운 모델은 왜 말이 길어지는가? 두 질문이 이어져 있다. 잘 배운 모델일수록 더 오래 생각하고, 오래 생각할수록 더 비싸진다. 그 균형을 잡는 게 이번 편의 후반부다. 마지막에는 지금까지 본 걸 전부 붙인 물건 하나를 본다. Deep Research다. 교육 자... Read More

개요 30~32편은 에이전트 하나를 잘 만드는 이야기였다. 읽을거리를 주고(30편), 손을 달아주고(31편), 계획을 세우게 했다(32편). 그런데 이번 자료는 시작부터 방향이 다르다. 하나를 더 똑똑하게 만드는 대신, 여러 개를 붙여보자는 것이다. 에이전트를 여럿 두면 뭐가 달라지고, 그 사이는 무엇으로 채워야 하는가? 솔직히 처음엔 시큰둥했다. 하나도 제대로 안 도는데 여러 개를 붙인다고 나아지나 싶었다. 그런데 읽다 보니 예전에 게임 서버 만들면서 고민했던 것들이 그대로 나왔다. 중앙 서버를 둘 것인가, 노드끼리 직접 붙일 것인가. 문제가 판박이였다! 이번 편은 그 이야기다. 다음 편(34편)... Read More

개요 세 편을 이어서 왔다. 30편은 모델에 읽을거리를 주는 이야기였고, 31편은 손을 달아주는 이야기였다. 남은 게 하나 있다. 에이전트는 무엇을 보고, 어떻게 계획을 세우고, 틀렸을 때 어떻게 되돌아오는가? 도구가 있어도 순서를 모르면 못 쓴다. 순서를 정했어도 중간에 틀리면 그대로 망한다. 이번 편은 그 머리에 해당하는 부분이다. 마지막에는 LangChain을 붙인다. 세 편에서 본 것들 — 검색, 도구, 계획 — 이 실제 코드에서 어디에 앉는지 지도를 그리고 끝낸다. 교육 자료는 대외비라 슬라이드 이미지나 예제 데이터는 싣지 않는다. 1. 환경 — 무엇으로 보여주고, 어떻게 이해... Read More

개요 30편은 모델에 무엇을 읽힐 것인가의 이야기였다. 검색해서 문서를 찾아 프롬프트에 넣어주는 것까지 봤다. 그런데 거기까지는 모델이 여전히 읽고 쓰기만 한다. 언어모델이 직접 밖을 건드리게 하려면, 무엇이 더 필요한가? 날씨를 알려주려면 날씨 API를 호출해야 하고, 계산을 정확히 하려면 계산기를 써야 한다. 문장을 아무리 잘 이어 써도 오늘 서울 기온은 모델 안에 없다. 이번 편은 그 손에 해당하는 것들이다. 에이전트가 무엇인지, 도구를 어떻게 쥐여주는지, 그리고 그 도구들이 제각각이라 생긴 혼란을 정리한 MCP까지 본다. 30편에서 다룬 RAG와 헷갈리기 쉬운데, 둘의 차이도 중간에 짚는다.... Read More

개요 26~29편은 어떤 모델을 고를 것인가의 이야기였다. 이번 차시부터 질문이 바뀐다. 모델이 모르는 것을, 어떻게 알게 할까? 답은 두 갈래다. 하나는 모델을 다시 학습시키는 것 — 29편에서 본 파인튜닝과 LoRA가 여기 속한다. 다른 하나는 모델 밖에 지식을 두고, 필요할 때 꺼내서 같이 넣어주는 것이다. 이번 편의 주제는 두 번째다. 두 번째가 왜 필요한지는 한 문장으로 설명된다. 학습은 비싸고 느린데, 세상은 매일 바뀐다. 어제 발표된 사실을 오늘 답하게 하려고 매번 모델을 다시 학습시킬 수는 없다. 이 방식을 RAG(Retrieval-augmented Generation, 검색증강생성)... Read More