요즘 시대에 AI를 쓰지 않는 것은 굉장히 비효율적이다. 특히 AI를 쓰면 커피 시간을 굉장히 비약적으로 늘릴 수 있다.
Claude Code, Chat GPT 등을 사용할 때 가장 많이 마주 하는 것은 사용량 초과 메시지다..ㅠㅠ
You’ve hit your session limit
그리고 이는 나를 굉장히 괴롭게 한다. 하네스를 구성해서 어떤 맥락을 어떻게 개발할 것인지, 아키텍처는 무엇을 사용했는지, 리뷰의 조건은 무엇인지 다 정해놓았지만… 결국 에이전트가 하던 것을 내가 이어받고, 또 제한시간이 풀린 뒤에 작업을 넘기는 것은 굉장히 비효율적이다! (단순히 귀찮아서가 아니다.)
그러다 내 맥 미니에서 돌릴 수 있는 모델이 지금쯤 나오지 않았을까 생각하게 되었고 찾아보았는데…
이럴수가… 내 맥 미니는 너무 연약하다… 원래는 맥 스튜디오를 가지고 있었지만 개인 사정으로 처분했는데.. 🫠
때가 어느 땐데 내 맥 미니에서 아무것도 돌릴 수 없는 것은 정말 슬프니… 직접 Local LLM을 만들어보자는 결론에 도달했다. 논문도 많고, 세상엔 똑똑한 사람이 많으니 내가 참고할 자료는 충분히 많을것이다. (실패하더라도 LLM을 만들어 본 경험은 나의 강점이 될테니!)
이런 생각만 했는데 놀랍게도 유튜브님께서 내게 다음의 선물을 주셨다. 와. 대학생 때 공부했던 인공지능을 모두 까먹었는데, 새록새록 기억이 날 뿐 아니라 설명이 정말 최고다. 이 영상을 10년만 일찍 찾았어도 난 지금 LLM Engineer가 되어 있을것이다.
현재의 목표는 그래도 1년 뒤엔 성능이 안좋더라도 Local LLM을 만드는 것이다. 본 시리즈는 나의 배움을 끄적끄적 남기는 것이며 다른사람에게 인도의 길이 되면 좋지 않을까 해서 작성한다.
