조금은 느긋하게

때로는 색다르게

한량가족이 세상을 바라보는 이야기

최근 이야기

Local LLM 정복하기 – Positional Encoding (4)

Transformer는 자연어를 처리하여 우리가 묻는 질문에 대해 추론하여 답변을 생성한다. 단어의 의미를 이해했더라도 문장속에서 우리가 무엇을 원하는지 어떻게 알아차릴까? 학습을 진행할 때, 그리고 머신은 기본적으로 입력으로 들어오는 문장에서 단어의 순서를 모른다. 쉽게 비유하면, 좋은 아침입니다.라는 문장은 사람은 다음과 같이 받아들인다....

Local LLM 정복하기 – Embedding (3)

Vector를 통해 의미와 관계를 숫자로 표현할 수 있는 공간을 만들고, 학습을 통해 그 공간의 구조를 만들어가는 것을 알았다. 그런데 컴퓨터는 문자를 이해하지 못한다. 애초에 0과 1, 정확히는 전기를 바탕으로 On/Off만 알 수 있다. 우리는 자연어(사람이 사용하는 언어)를 컴퓨터가 이해하도록 변환해야...

작가별로 읽기

위로 스크롤