생성형 AI는 왜 CPU가 아니라 GPU를 쓸까? 코어 구조로 이해하는 AI 연산 원리

생성형 AI는 왜 CPU가 아니라 GPU를 쓸까? 코어 구조로 이해하는 AI 연산 원리

"GPU가 CPU보다 빠르니까"라는 설명은 절반만 맞는 말이다. 실제로 CPU 하나의 연산 능력은 GPU 코어 하나보다 훨씬 강력하다. 그런데도 ChatGPT 같은 생성형 AI는 CPU가 아니라 수천 개의 GPU 위에서 돌아간다. 이 모순처럼 보이는 사실 안에 AI 하드웨어를 이해하는 핵심이 들어 있다.

핵심 요약: CPU는 적은 수의 강력한 코어로 복잡한 작업을 순서대로 빠르게 처리하도록 설계됐다. GPU는 수천 개의 단순한 코어로 같은 연산을 동시에 처리하도록 설계됐다. 생성형 AI의 핵심 연산인 행렬곱셈은 서로 독립적인 계산이 대량으로 반복되는 구조라, 이 작업 방식이 GPU의 설계와 정확히 맞아떨어진다.

CPU와 GPU는 애초에 다른 목적으로 태어났다

CPU는 '지연시간(latency)'을 줄이는 데 최적화된 칩이다. 웹 브라우저를 켜고, 파일을 열고, 다음에 무슨 명령이 올지 예측하고, 캐시에 미리 데이터를 올려두는 것 — 이런 작업은 순서가 있고 서로 의존적이다. 그래서 CPU는 코어 하나하나에 분기 예측기, 대용량 캐시, 비순차 실행(out-of-order execution) 같은 복잡한 회로를 잔뜩 붙여놨다. 대신 코어 개수는 많아야 수십 개 수준에 머문다.

GPU는 반대로 '처리량(throughput)'을 늘리는 데 최적화됐다. 원래 목적은 화면에 찍힐 수백만 개의 픽셀 색상을 동시에 계산하는 것이었다. 픽셀 하나의 색을 정하는 계산은 단순하지만, 그걸 수백만 번 동시에 해야 한다. 그래서 GPU는 코어 하나하나는 단순하게 만드는 대신, 그 코어를 수천 개씩 늘어놓는 쪽을 택했다. RTX 4090 한 장에만 CUDA 코어가 16,384개 들어 있고, 데이터센터용 H100은 16,896개에 이른다.^[1][2]

즉 CPU는 "한 사람이 복잡한 일을 빠르게" 처리하는 구조고, GPU는 "수천 명이 단순한 일을 동시에" 처리하는 구조다. 문제는 여기서부터 시작된다 — 생성형 AI의 연산이 후자에 훨씬 가깝다는 점이다.

AI 연산의 실체는 결국 '행렬곱셈'이다

사람들은 흔히 AI 학습을 뭔가 지적이고 복잡한 과정으로 상상하지만, 하드웨어 입장에서 보면 이야기가 단순해진다. 신경망의 학습과 추론은 결국 숫자로 이루어진 큰 표(행렬)를 서로 곱하고 더하는 연산의 반복이다. 트랜스포머 기반 언어모델의 순전파(forward pass) 한 번에도 대규모 모델 기준 수십~수백 TFLOP 규모의 연산이 필요하다.^[3]

이 행렬곱셈의 특징은 각각의 계산이 서로 거의 독립적이라는 점이다. 행렬의 이 칸을 계산하는 데 저 칸의 결과가 필요하지 않다. 이런 성질을 '임베러싱리 패러렐(embarrassingly parallel)', 즉 병렬화하기 지극히 쉬운 문제라고 부른다.^[3] 독립적인 계산을 대량으로 동시에 처리해야 한다는 점에서, 이는 애초에 GPU가 픽셀을 계산하던 방식과 본질적으로 같은 문제다. 2000년대 초반 연구자들이 그래픽 렌더링에 쓰이던 행렬 연산 구조가 신경망 연산 구조와 닮았다는 사실을 알아차리면서, GPU는 그래픽 카드에서 AI 연산 장치로 방향을 튼다.^[4]

숫자로 보면 차이가 더 명확해진다

서버용 CPU 한 개는 코어가 많아야 수십 개에서 100개 초반 수준이다. 반면 GPU 한 장에는 코어가 수천~1만 개 이상 들어간다.^[3] 아래 표로 정리하면 이렇다.

구분	CPU	GPU (H100 기준)
설계 목표	지연시간 최소화	처리량 최대화
코어 수	수십 개 수준	16,896개 CUDA 코어[1]
코어당 성능	높음, 복잡한 제어 로직 포함	낮음, 단순 연산에 특화
강점 작업	순차적·분기가 많은 작업	대량의 동일 연산 반복
메모리 대역폭	상대적으로 낮음	최대 3.35TB/s (HBM3)[5]

여기서 메모리 대역폭도 함께 봐야 한다. 코어가 아무리 많아도 데이터를 빠르게 공급받지 못하면 놀게 된다. GPU가 HBM(고대역폭 메모리)을 쓰는 이유가 여기에 있다. H100은 초당 3.35테라바이트라는, CPU 메모리와는 자릿수가 다른 대역폭으로 수천 개 코어를 동시에 먹여 살린다.^[5]

CUDA 코어와 텐서 코어는 다른 물건이다

여기서 한 가지 자주 혼동되는 지점이 있다. GPU 안에는 두 종류의 계산 유닛이 함께 들어 있다. CUDA 코어는 범용 부동소수점 연산을 담당하는 기본 단위고, 텐서 코어는 신경망의 핵심인 '행렬 곱셈-누산(matrix multiply-accumulate)' 연산만을 위해 따로 설계된 전용 회로다.^[4][6]

H100에는 CUDA 코어 16,896개와는 별도로 4세대 텐서 코어가 528개 들어 있다.^[1] 텐서 코어는 같은 세대의 CUDA 코어 대비 행렬곱 처리 속도가 훨씬 높고, FP8처럼 정밀도를 낮춘 연산 방식까지 지원해서 정확도 손실을 최소화하면서 속도를 끌어올린다.^[6] 정리하면, GPU가 빠른 이유의 절반은 '코어가 많아서'이고, 나머지 절반은 '행렬곱만 전담하는 전용 회로가 따로 있어서'다.

그렇다면 CPU는 이제 필요 없는 걸까?

여기서 오해하기 쉬운 부분이 하나 있다. GPU가 AI 연산에 유리하다고 해서 CPU가 밀려나는 것은 아니다. 실제 AI 인프라에서 CPU는 여전히 필수적인 역할을 맡는다.

• 데이터 전처리와 배치 구성처럼 순차적이고 조건 분기가 많은 작업
• GPU에 작업을 나눠주고 결과를 취합하는 오케스트레이션
• 모델이 크지 않은 경량 추론이나 초기 실험 단계
• 운영체제, 스토리지 입출력, 네트워크 처리 같은 시스템 전반의 제어

실제로 엔비디아의 '그레이스 호퍼(Grace Hopper)' 같은 아키텍처는 CPU와 GPU를 한 시스템 안에 묶어서, CPU가 데이터 흐름과 제어를 맡고 GPU가 대량 연산을 맡는 역할 분담 구조를 택하고 있다.^[5] GPU 하나로 모든 걸 해결하는 게 아니라, 각자 잘하는 일을 나눠 맡기는 쪽이 현재 AI 인프라의 방향이다.

왜 이 구조가 산업 전체를 흔들었나

이 아키텍처 차이는 단순한 기술 트리비아로 끝나지 않는다. 스탠퍼드 인간중심AI연구소는 2003년 이후 GPU 성능이 약 7,000배 향상됐고, 가격 대비 성능은 약 5,600배 개선됐다고 분석한 바 있다.^[5] 이 성능 곡선이 바로 지난 10여 년간 딥러닝 모델이 기하급수적으로 커질 수 있었던 물리적 토대다.

동시에 이 구조는 엔비디아라는 한 회사에 엄청난 지배력을 몰아줬다. GPU의 병렬 연산 능력을 범용 프로그래밍으로 끌어다 쓸 수 있게 만든 CUDA 생태계가, 2000년대 중반부터 지금까지 이어지는 소프트웨어 자산으로 쌓였기 때문이다.^[4] 경쟁 하드웨어가 아무리 스펙표에서 좋은 숫자를 내놔도, 이 소프트웨어 생태계를 따라잡지 못하면 실제 채택으로 이어지기 어렵다. AI 반도체 경쟁을 이야기할 때 CUDA가 항상 함께 언급되는 이유다.

한계와 확인되지 않은 부분

다만 몇 가지는 짚고 넘어갈 필요가 있다. 첫째, GPU가 CPU보다 몇 배 빠른지는 워크로드, 배치 크기, 정밀도(FP32/FP16/FP8) 설정에 따라 크게 달라지므로 특정 배수를 일반화해서 받아들이기는 어렵다. 둘째, 엔비디아가 공개한 성능 향상 수치는 자사 벤치마크 기준이라는 점에서 해석에 참고 조건이 따라붙는다. 셋째, 구글의 TPU처럼 애초에 행렬곱만을 위해 설계된 전용 칩(ASIC) 역시 특정 워크로드에서는 GPU와 경쟁하거나 앞서는 결과를 내기도 하는데, 이 부분은 이 글에서 다루는 CPU-GPU 비교의 범위를 벗어난다.

정리

CPU가 느려서 GPU를 쓰는 게 아니다. AI 연산의 대부분을 차지하는 행렬곱셈이 '독립적인 단순 계산을 대량으로 동시에 처리하는' 성격을 갖고 있고, 이 성격이 GPU가 애초에 픽셀을 그리기 위해 태어난 구조와 우연히 맞아떨어졌을 뿐이다. 코어 개수, 텐서 코어라는 전용 회로, HBM이라는 초고속 메모리 — 이 세 가지가 맞물려서 지금의 AI 인프라 지형을 만들었고, 그 중심에 CUDA라는 소프트웨어 생태계가 자리 잡고 있다.

참고자료

1. NVIDIA, "NVIDIA H100 Tensor Core GPU Datasheet" (nvidia.com/resources)
2. Thunder Compute, "CUDA Cores Explained: AI Training Power" (RTX 4090 CUDA 코어 수 관련, 2026)
3. arXiv, "The Hitchhiker's Guide to Agentic AI: From Foundations to Systems" (arxiv.org/pdf/2606.24937)
4. Allied Venture Partners, "CPU vs GPU vs TPU: AI Hardware Explained" (2026)
5. NVIDIA Blog, "Why GPUs Are Great for AI" (blogs.nvidia.com)
6. NVIDIA, "H100 GPU 제품 페이지" (nvidia.com/en-us/data-center/h100)