글쓴이 이름: 짧은머리 개발자

쉬었음(직한데 일하는) 청년

Avatar photo
끄적끄적

Local LLM 정복하기 – Positional Encoding (4)

Transformer는 자연어를 처리하여 우리가 묻는 질문에 대해 추론하여 답변을 생성한다. 단어의 의미를 이해했더라도 문장속에서 우리가 무엇을 원하는지 어떻게 알아차릴까?

학습을 진행할 때, 그리고 머신은 기본적으로 입력으로 들어오는 문장에서 단어의 순서를 모른다.

쉽게 비유하면, 좋은 아침입니다.라는 문장은 사람은 다음과 같이 받아들인다. 그러나 컴퓨터는 문장을 한번에 통으로 입력받기 때문에, 좋은 아침입니다.를 하나의 뭉텅이로 갖고있다.

끄적끄적

Local LLM 정복하기 – Embedding (3)

Vector를 통해 의미와 관계를 숫자로 표현할 수 있는 공간을 만들고, 학습을 통해 그 공간의 구조를 만들어가는 것을 알았다. 그런데 컴퓨터는 문자를 이해하지 못한다. 애초에 0과 1, 정확히는 전기를 바탕으로 On/Off만 알 수 있다.

우리는 자연어(사람이 사용하는 언어)를 컴퓨터가 이해하도록 변환해야 한다.

끄적끄적

Local LLM 정복하기 – Vector (2)

LLM을 공부하다 보니 모르는 단어가 많다. 특히 현재의 LLM은 Transformer 구조로 되어 있다는데 나는 이 Transformer도 말만 들어봤지 뭔지 모른다.

Transformer부터 공부하려고 했더니 Attention이 나오고, Attention을 공부하려 했더니 Embedding이 나온다. Embedding하면 또 Vector가 나온다.

LLM은 Large Language Model이다. 즉, “큰 언어 모델”로 언어를 다룰 수 있는 모델이다. 그렇다면 우리는 어떻게 말을 컴퓨터가 알아들을 수 있게 표현할 수 있을까?

끄적끄적

Local LLM 정복하기 – 토큰이 부족해 (1)

요즘 시대에 AI를 쓰지 않는 것은 굉장히 비효율적이다. 특히 AI를 쓰면 커피 시간을 굉장히 비약적으로 늘릴 수 있다.

Claude Code, Chat GPT 등을 사용할 때 가장 많이 마주 하는 것은 사용량 초과 메시지다..ㅠㅠ

그리고 이는 나를 굉장히 괴롭게 한다.

개발 이야기

Zero Trust — AI의 시대, 우리는 무엇을 신뢰해야 하는가 (2)

2편. Human Zero Trust — 사람에게 권한을 어떻게 줄 것인가?

Zero Trust에서는 사용자를 인증하는 것만으로는 부족하다. 사용자가 누구인지 알고 있어도 다음을 판단해야 한다.
– 어떤 Resource에 접근할 수 있는가?
– 어떤 Action을 수행할 수 있는가?
– 언제 접근할 수 있는가?
– 어떤 Device에서 접근하고 있는가?
– 이 작업은 일반적인 행동인가?
– 지금 이 사용자에게 이 권한이 정말 필요한가?

1편_ZeroTrust
개발 이야기

Zero Trust — AI의 시대, 우리는 무엇을 신뢰해야 하는가 (1)

1편. Zero Trust — 신뢰하지 않는 시스템은 어떻게 만드는가

우리는 지금까지 시스템을 운영하면서 많은 것을 “신뢰”해왔다.

내부 네트워크에 있는 서버는 외부보다 안전하다고 생각했고, 같은 Kubernetes Cluster에 있는 Workload는 어느 정도 신뢰할 수 있다고 생각했으며, 운영자에게 높은 권한을 부여하고 “이 사람은 필요한 작업만 할 것”이라고 생각했다.

하지만 시스템이 복잡해지고 공격 경로가 다양해지면서 이러한 가정은 점점 위험해졌다.

그리고 AI Agent가 Infrastructure를 직접 변경하기 시작하면서 이 문제는 더욱 중요해지고 있다.

AI에게 모든 권한을 줄 수 있을까?

위로 스크롤