LLM은 문장을 어떻게 이해할까? 토큰·임베딩·어텐션으로 뜯어보기

LLM은 문장을 어떻게 이해할까? 토큰·임베딩·어텐션으로 뜯어보기

"AI가 문장을 이해한다"는 말은 절반쯤 비유다. LLM 내부에는 문법 규칙도, 사전적 의미도 들어 있지 않다. 있는 건 숫자로 이루어진 벡터와, 그 벡터들을 서로 비교해서 다시 조정하는 계산 과정뿐이다. 그런데도 "그 모래는 기울어서 쏟아졌다"에서 '그것'이 모래를 가리키는지 컵을 가리키는지를 맞힌다. 이 계산 과정을 세 단계로 나누면 토큰화, 임베딩, 어텐션이 된다.

핵심 요약: 문장은 먼저 토큰이라는 작은 조각으로 쪼개지고, 각 토큰은 의미를 담은 숫자 벡터(임베딩)로 바뀐다. 이 시점의 벡터는 아직 문맥을 모른다. 어텐션은 문장 안의 다른 토큰들을 참고해서 이 벡터를 문맥에 맞게 다시 계산하는 단계다. "모델이 문장을 이해한다"는 현상은 사실 이 세 단계가 여러 층에 걸쳐 반복되면서 만들어지는 결과에 가깝다.

1단계 — 토큰화: 문장을 조각내기

LLM은 문장을 단어 단위로 통째로 다루지 않는다. 대신 더 작은 단위인 '토큰'으로 쪼갠다. 영어 기준으로는 종종 단어의 일부(서브워드)로 나뉘는데, 예를 들어 "dreaming"은 "dream"과 "ing"으로, "carefully"는 "care", "ful", "ly"로 쪼개지는 식이다.^[1] 자주 등장하는 조각은 하나의 토큰으로 묶고, 드물게 등장하는 단어는 더 잘게 쪼개서 처리한다. 이렇게 나온 전체 토큰의 종류 수를 '어휘 크기(vocabulary size)'라고 부른다.^[1]

토큰화가 필요한 이유는 단순하다. 컴퓨터는 글자를 모르고 숫자만 다룰 수 있다. 그리고 단어를 통째로 어휘에 등록하면, 한 번도 본 적 없는 신조어나 오타가 나왔을 때 처리할 방법이 없다. 서브워드 단위로 쪼개두면 "unbelievable"을 본 적이 없어도 "un", "believe", "able"의 조합으로 처리할 여지가 생긴다.

2단계 — 임베딩: 토큰을 숫자로 바꾸기

토큰화가 끝나면 각 토큰은 고차원 벡터, 즉 임베딩으로 변환된다.^[2] 이 벡터는 일종의 좌표라서, 의미가 비슷한 단어일수록 좌표상 가까운 위치에 놓이도록 학습된다. 이 과정을 하나의 커다란 행렬(임베딩 행렬)을 이용한 '조회(lookup)'로 이해해도 크게 틀리지 않다.^[3]

다만 이 단계에는 중요한 한계가 있다. 이 시점의 임베딩은 문맥을 전혀 모른다. "American shrew mole"(두더지), "One mole of carbon dioxide"(몰, 화학 단위), "Take a biopsy of the mole"(피부의 점) — 세 문장에 등장하는 "mole"은 뜻이 전혀 다른데도, 토큰화·임베딩 단계에서는 똑같은 벡터로 시작한다.^[4] 이 모호함을 풀어내는 게 다음 단계인 어텐션의 역할이다.

3단계 — 어텐션: 문맥을 반영해 의미를 다시 계산하기

어텐션은 문장 안의 모든 토큰이 서로 "너는 나한테 얼마나 중요해?"라고 묻고 답하는 과정에 가깝다. "The cat sat on the mat because it was tired"라는 문장에서 "it"이 "cat"을 가리키는지 "mat"을 가리키는지는, "it"이라는 단어 자체만 봐서는 알 수 없다. 어텐션은 문장 속 다른 모든 토큰과의 연관성 점수를 계산하고, 그 점수에 따라 가중치를 둬서 "it"의 벡터를 다시 조정한다.^[5]

이 계산은 쿼리(Query), 키(Key), 밸류(Value)라는 세 가지 학습된 벡터로 이뤄진다. 쿼리는 "내가 지금 무엇을 찾고 있는가", 키는 "각 토큰이 무엇을 제공할 수 있는가", 밸류는 "실제로 전달할 정보"에 해당한다.^[6] 쿼리와 키를 비교해 연관성 점수를 매기고, 그 점수만큼 밸류를 가중합산해서 새로운 벡터를 만드는 것이다. 이 계산을 한 번만 하는 게 아니라 여러 '헤드'가 동시에 병렬로 수행하는데, GPT-2 소형 모델만 해도 헤드가 12개다.^[7] 각 헤드는 문법 관계, 장거리 의미 연결처럼 서로 다른 패턴을 전담해서 학습하는 경향을 보인다는 연구 결과도 있다.^[7]

순서 정보는 어떻게 반영될까: 포지셔널 인코딩

어텐션 자체는 토큰들의 순서를 구분하지 못한다는 맹점이 있다. 순서 정보가 없다면 "개가 사람을 문다"와 "사람이 개를 문다"를 구별할 방법이 없다. 그래서 각 토큰의 임베딩에 위치 정보를 더해주는 포지셔널 인코딩이 함께 들어간다.^[8] 토큰의 '의미'와 '위치'를 각각 따로 담아서 합쳐주는 셈이다.

이 세 요소 — 토큰화, 임베딩(+포지셔널 인코딩), 어텐션 — 이 하나의 층(layer)을 이루고, 실제 LLM은 이 층을 수십 개씩 쌓아서 반복한다. 층을 거칠 때마다 각 토큰의 벡터는 문맥을 점점 더 반영한 형태로 갱신된다.^[9]

실제로 부딪히는 한계: 문맥이 길어지면 벌어지는 일

어텐션은 모든 토큰 쌍의 연관성을 계산하기 때문에, 문장이 길어질수록 계산량이 문장 길이의 제곱에 비례해서 늘어난다.^[10] 이 때문에 한 번에 처리할 수 있는 문맥의 길이(컨텍스트 윈도우)에는 비용과 크기 제약이 따라붙는다.^[10] 또한 문맥이 10만 토큰을 넘어가는 수준으로 길어지면 어텐션 점수가 여러 토큰에 얇게 분산되면서, 문서 중간에 있는 정보가 시작이나 끝부분보다 상대적으로 덜 반영되는 현상도 보고된다.^[10]

여기서 종종 오해가 생기는 지점이 하나 더 있다. LLM의 학습 목표는 사실 여부를 검증하는 게 아니라, 학습 데이터와 통계적으로 비슷한 문장을 만들어내는 것이다.^[10] 그럴듯하게 이어지는 다음 토큰을 예측하는 구조이다 보니, 사실인 문장과 그럴듯하지만 틀린 문장을 모델 내부적으로 구분할 장치는 원래부터 없다.^[10] "이해"라는 단어를 쓰긴 하지만, 실제로는 대규모 패턴 매칭에 가깝다고 보는 편이 더 정확하다.

산업적 의미: 이 구조가 검색에도 쓰이는 이유

임베딩은 LLM 안에서만 쓰이고 끝나는 개념이 아니다. 문장이나 문서를 벡터로 바꿔서 저장해두면, 새로운 질문이 들어왔을 때 벡터 공간에서 가장 가까운 문서를 찾아내는 방식의 검색이 가능해진다. 이 원리는 RAG(검색 증강 생성) 같은 시스템에서 그대로 재사용된다.^[10] 즉 토큰-임베딩-어텐션 구조를 이해하고 나면, LLM 한 가지 기술뿐 아니라 지금 AI 업계에서 쓰이는 검색·추천 시스템 상당수의 작동 원리도 함께 이해하게 되는 셈이다.

정리

LLM이 문장을 "이해"하는 과정은 신비로운 블랙박스라기보다, 조각내고(토큰화) 숫자로 바꾸고(임베딩) 문맥에 맞게 다시 계산하는(어텐션) 세 단계가 수십 번 반복되는 구조에 가깝다. 앞서 다룬 메모리 크기와 성능의 관계도 결국 이 어텐션 층과 임베딩 벡터의 크기·개수가 늘어나는 것과 맞닿아 있다 — 파라미터가 많다는 건, 문맥을 저장하고 비교할 수 있는 벡터 공간이 더 넓어진다는 뜻이기도 하다.

참고자료

1. arXiv, "Phase Transitions in Large Language Models and the O(N) Model" — 토큰화 예시 (arxiv.org/pdf/2501.16241)
2. Transformer Explainer (Poloclub, Georgia Tech), "LLM Transformer Model Visually Explained" (poloclub.github.io/transformer-explainer)
3. arXiv, "Understanding Transformers and Attention Mechanisms" — 임베딩 행렬 관련 (arxiv.org/html/2604.00965)
4. 3Blue1Brown, "Attention in transformers, step-by-step" — mole 예시
5. MyEngineeringPath, "LLM Fundamentals — Tokens, Attention & Transformers" (2026) — it/cat/mat 예시
6. arXiv, "Understanding Transformers and Attention Mechanisms" — Query/Key/Value 구조
7. arXiv, "From Tokens To Agents: A Researcher's Guide To Understanding Large Language Models" — 멀티헤드 어텐션 (arxiv.org/pdf/2603.19269)
8. MyEngineeringPath, "LLM Fundamentals" — 포지셔널 인코딩
9. MachineLearningMastery, "The Journey of a Token: What Really Happens Inside a Transformer"
10. MyEngineeringPath, "LLM Fundamentals — Tokens, Attention & Transformers" — 컨텍스트 윈도우 한계, 할루시네이션, RAG 관련 (2026)