삐에로의 지식창고

개요 35편부터 41편까지, 모델을 현장에 내놓기 위한 방법을 순서대로 다 봤다. 숫자를 줄이고, 모델을 깎고, 칩에 맞춰 소수점을 지우고, 현장에서 흔들리면 파라미터를 밀거나 센서를 조절하고. 그런데 그 전부를 동원해도 안 풀리는 지점이 있다. 애초에 문제를 잘못 세팅했을 때다. 이번 편은 도구가 아니라 문제를 세우는 쪽 이야기다. 그 분야를 아는 사람이 설계에 들어가면 무엇이 달라지는가. 그리고 자료가 든 사례가 하필 수면의학이라, 앞의 편들과 이어지는 지점이 많았다. 이번 글이 답할 질문 도메인 전문지식을 안다는 게 모델 설계에서 구체적으로 무슨 일을 하는가. 그게 경량화까지 되는가. 교... Read More

개요 40편에서 분포 이동을 봤다. 학습할 때 본 데이터와 현장에 들어오는 데이터가 다른 문제. 그리고 그 답으로 모델을 데이터 쪽으로 살짝 옮기는 방법(TTA)을 봤다. 이번 편은 같은 문제에 대한 정반대 답이다. 모델을 옮기지 말고, 데이터를 모델 쪽으로 옮기면 되지 않나? 처음 들었을 때 이게 무슨 소린가 싶었다. 데이터는 그냥 들어오는 거 아닌가. 그런데 생각해보면 아니었다. 카메라가 찍어서 들어오는 것이라면, 카메라 설정을 바꾸면 들어오는 데이터가 바뀐다. 이번 글이 답할 질문 모델도 안 키우고 모델을 고치지도 않으면서 정확도를 올릴 수 있을까. 센서만 만져서. 교육 과정 자... Read More

개요 38편과 39편은 모델을 기기에 올리는 이야기였다. 어떤 칩에 올리고, 어떻게 소수점을 지워내는지. 그래서 올렸다고 하자. 그럼 끝일까. 자료가 여기서 좀 얄궂은 숫자를 보여준다. 학습할 때 검증 정확도가 97%였던 모델을 현장에 내놨더니 68%가 됐다. 모델은 하나도 안 바뀌었다. 바뀐 건 들어오는 데이터다. 학습할 땐 깨끗한 사진으로 배웠는데, 실제 현장의 카메라는 어둡고 흐리고 노이즈가 낀다. 이번 글이 답할 질문 이미 배포한 모델을, 정답 라벨도 없고 다시 학습할 시간도 없는 상태에서, 어떻게 그 자리에서 고쳐 쓰는가. 교육 과정 자료는 대외비라 원본 자료는 싣지 않는다. ... Read More

개요 38편에서 이런 이야기를 했다. 가속기가 모르는 연산이 모델 안에 하나라도 있으면, 그 부분만 CPU로 되돌아간다. 그리고 그 왕복이 제일 비싸다고. 그때는 그 “모르는 연산”을 연산자 종류 문제로만 봤다. 커스텀 연산을 직접 짜 넣었다거나, opset 버전이 안 맞는다거나. 그런데 자료를 더 보니 그게 아니었다. 연산자 이름이 멀쩡해도 걸리는 게 있었다. 가속기는 소수를 모른다. 아무리 흔한 곱셈이라도 소수가 끼어 있으면 그 계층은 못 맡는다. 38편에서 NPU와 TPU를 “행렬 곱 전용 회로”라고만 소개하고 넘어갔는데, 정확히는 정수 행렬 곱 전용이었던 것이다. 35편에서 양자화를 배울 때는 “3... Read More

개요 35~37편은 계속 모델을 줄이는 이야기였다. 숫자를 몇 비트에 담을지, 가중치를 어떻게 깎을지, 어디만 학습시킬지. 그런데 줄이는 데는 목적이 있었다. 어딘가에 올리려고 줄인 거다. 그럼 그 어딘가가 어디인지, 거기서 뭐가 기다리고 있는지를 봐야 한다. 이번 편이 그 이야기다. 솔직히 이 파트는 처음부터 끝까지 새로 배우는 내용이었다. 나는 서버 개발을 하다가 왔고, 지금까지 내가 만든 건 전부 서버 어딘가에서 돌아가는 것이었다. 모델이 폰이나 로봇이나 공장 기계 안으로 들어간다는 상황 자체를 생각해본 적이 없었다.. 이번 글이 답할 질문 왜 굳이 기기 안에서 모델을 돌리려고 하고, 왜 내가 만... Read More

개요 35편에서 숫자를 담는 법을, 36편에서 모델을 줄이는 법을 봤다. 이번이 마지막 편이다. 줄인 모델을 내 것으로 만드는 법. 경량화까지는 어떻게든 됐다고 치자. 그런데 서비스를 만들려면 그다음 문제가 남는다. 범용 모델은 일반적인 능력은 강하지만, 특정 도메인에 특화시키려면 조정이 필요하다. 사내 문서를 이해해야 한다거나, 특정 말투로 답해야 한다거나. 새로 모델을 만들 수는 없다. 그럼 있는 모델을 튜닝해야 하는데, 700억 개짜리 모델의 가중치를 전부 갱신하는 건 사실상 처음부터 학습하는 것과 비슷한 비용이 든다. 이번 글이 답할 질문 모델 전체를 건드리지 않고 모델을 내 것으로 만들 수 있... Read More

개요 35편은 숫자를 어떻게 담느냐의 이야기였다. 2의 보수, 고정소수점, 부동소수점, 그리고 GPU가 세대마다 더 짧은 포맷을 하나씩 늘려온 이유까지. 이번 편은 그 다음이다. 담는 법을 알았으니 이제 줄인다. 자료에서 이 대목을 꺼내는 방식이 인상적이었다. 기법을 바로 설명하지 않고, 먼저 “안 줄이면 어떻게 되는지” 를 그래프 몇 장으로 보여준다. 모델 파라미터는 매년 커지고, 학습 비용은 연 2.4배씩 오르고, 2030년쯤이면 전력·칩 생산량·데이터가 각각 한계에 부딪힌다는 예측까지. 읽고 나면 결론이 하나로 모인다. 이번 글이 답할 질문 경량화는 왜 선택이 아니라 필수가 됐을까? 그리고 정말... Read More

개요 30~34편은 에이전트를 어떻게 굴리느냐의 이야기였다. 읽을거리를 주고, 손을 달아주고, 계획을 세우게 하고, 여럿을 붙이고, 강화학습으로 훈련시켰다. 그런데 그 시리즈를 쓰는 내내 같은 단어가 계속 나왔다. 비용. 에이전트를 하나 더 붙이면 토큰이 몇 배로 늘고, 모델을 하나 더 띄우면 GPU가 하나 더 필요하다. 33편에서 다중 에이전트의 단점으로 적어뒀던 것도 결국 그거였다. 이번 자료는 그 비용을 정면으로 다룬다. 제목이 “리소스 효율적 AI모델”이다. 모델을 어떻게 줄일 것인가, 줄이면 뭘 잃는가, 그러면서도 어떻게 튜닝할 것인가. 그런데 자료의 1번 챕터가 “컴퓨터의 수 체계”였다. 고정소수... Read More