AI의 성능은 모델만 결정하지 않는다 — 데이터·연산·메모리의 관계

AI의 성능은 모델만 결정하지 않는다 — 데이터·연산·메모리의 관계

최신 GPU가 공개될 때마다 사람들이 가장 먼저 보는 숫자는 TFLOPS, 즉 연산 성능이다. 그런데 2026년 업계에서 나오는 분석들은 조금 다른 이야기를 한다. 최신 GPU는 초당 1,000 TFLOP이 넘는 연산 능력을 갖고도, 실제 챗봇 서비스를 돌릴 때는 그 성능의 1%도 채 못 쓰는 경우가 많다는 것이다.^[1] 연산 능력이 남아도는데 왜 다 못 쓸까. 이 질문에 답하려면 AI 성능을 모델 하나가 아니라 데이터·연산·메모리 세 축의 관계로 봐야 한다.

핵심 요약: 지금까지 이 블로그에서 다룬 GPU 구조, 학습·추론 방식, 파라미터와 데이터의 관계는 모두 AI 성능을 결정하는 서로 다른 축이었다. 여기에 빠져 있던 마지막 한 축이 메모리다. 연산 능력은 2년마다 약 3배씩 늘어나는데, 그 연산에 데이터를 공급하는 메모리 대역폭은 2년마다 약 2배밖에 늘지 않는다.^[2] 이 격차를 '메모리 벽(Memory Wall)'이라고 부르고, 지금 AI 인프라 투자의 상당 부분이 이 벽을 낮추는 데 쓰이고 있다.

 

세 축은 이미 따로따로 다룬 적이 있다

데이터 축은 파라미터와 성능의 관계에서 다뤘다. 친칠라 스케일링 법칙에 따르면 모델 크기(파라미터)를 키울 때 학습 데이터도 비슷한 비율로 늘어나야 하고, 그러지 않으면 '언더트레이닝' 상태가 된다. 연산 축은 CPU와 GPU의 구조 차이에서 다뤘다. CUDA 코어와 텐서 코어가 많을수록 행렬곱 연산을 동시에 처리할 수 있는 양이 늘어난다. 세 번째 축인 메모리는 학습과 추론의 차이에서 잠깐 등장했지만, 여기서 더 깊이 들여다볼 필요가 있다. 코어가 아무리 많아도 그 코어에 데이터를 실어 나르는 통로가 좁으면, 연산 유닛은 계산할 데이터를 기다리며 놀게 된다.

메모리 벽: 격차는 갈수록 벌어지고 있다

마이크론이 2026년 학 칩스(Hot Chips) 컨퍼런스에서 공개한 분석에 따르면, GPU의 연산 성능은 2년마다 약 3배씩 늘어나는 반면 HBM(고대역폭 메모리)의 대역폭은 2년마다 약 2배 수준으로만 늘어난다.^[2] 이 성장 속도 차이 때문에 메모리 벽은 완화되기는커녕 갈수록 심해지고 있다는 게 이 분석의 핵심이다.^[2] 세계경제포럼도 최근 4년 사이 언어모델의 크기가 약 5,000배 커졌다는 점을 지적하며, 연산 능력 자체보다 데이터를 처리 장치까지 옮기는 데 드는 시간과 에너지가 점점 더 큰 제약이 되고 있다고 분석했다.^[3]

이 문제가 왜 생기는지는 물리적으로 단순하다. 트랜지스터를 늘려서 연산 능력을 키우는 건 상대적으로 값싼 일이지만, 칩 안팎으로 데이터를 실어 나르는 데는 연산 자체보다 훨씬 많은 에너지와 시간이 든다.^[1] 실제로 요즘 GPU 한 장에서 HBM이 차지하는 실리콘 면적은 전체의 약 90%에 달한다는 분석도 있다 — 연산 유닛보다 메모리 스택이 훨씬 더 큰 공간을 차지하고 있는 셈이다.^[4]

메모리가 병목이 되면 실제로 무슨 일이 생기나

업계 관계자들은 메모리 벽을 대역폭과 용량이라는 두 가지 측면으로 구분해서 본다. 대역폭은 메모리에서 연산 장치로 데이터를 얼마나 빨리 옮길 수 있는지의 문제고, 용량은 한 번에 얼마나 많은 데이터를 담아둘 수 있는지의 문제다.^[5] 학습에서는 초고속 메모리 대역폭이 늘어나는 연산 수요를 따라잡지 못하는 문제가, 추론에서는 메모리 시스템이 요청 처리 속도를 못 따라가면서 전체 서비스 처리량이 떨어지는 문제가 생긴다.^[6] AMD는 이런 흐름을 두고 "데이터센터 AI의 다음 병목은 연산이 아니라 메모리"라고 표현하기도 했다.^[7]

업계는 이 벽을 어떻게 낮추고 있나

대응 방식은 하드웨어와 소프트웨어 양쪽에서 동시에 진행되고 있다.

• 차세대 HBM: 2026년 양산 예정인 HBM4는 인터페이스 폭을 2,048비트로 두 배 늘려 총 대역폭 2TB/s를 목표로 한다.^[8]
• CXL 메모리 풀링: CXL 3.0 기반 기술은 여러 서버가 메모리를 공유 자원처럼 나눠 쓸 수 있게 해서, GPU 한 장에 메모리를 몰아넣는 대신 랙 단위로 메모리를 유연하게 배분한다.^[4]
• KV 캐시 압축: 구글의 터보퀀트(TurboQuant) 같은 기술은 추론 중 쌓이는 KV 캐시를 값 하나당 3.5비트 수준까지 압축해서, 한정된 HBM 용량을 더 많은 동시 요청에 쓸 수 있게 한다.^[4]
• 웨이퍼 스케일 통합: 세레브라스(Cerebras)처럼 프로세서와 SRAM을 거대한 실리콘 웨이퍼 하나에 통합해서, 애초에 칩과 메모리 사이의 물리적 거리 자체를 없애버리는 접근도 있다.^[4]

세 축이 상호작용하는 방식

데이터, 연산, 메모리는 서로 독립적인 문제가 아니라 하나가 부족하면 나머지 둘의 효과도 함께 깎이는 구조다. 데이터가 부족하면 모델을 아무리 키워도 성능이 비례해서 오르지 않는다. 연산이 부족하면 데이터가 아무리 많아도 학습에 필요한 시간이 감당하기 어려운 수준으로 늘어난다. 그리고 메모리가 부족하면 데이터도 충분하고 연산 능력도 남아도는 상태에서, 그 연산 능력이 데이터를 기다리며 놀게 된다. 결국 실제 AI 시스템의 성능 상한선은 이 세 축 중 가장 약한 고리가 정한다고 보는 게 정확하다.

축	부족할 때 생기는 문제	관련 개념
데이터	모델을 키워도 성능이 비례해 오르지 않음	친칠라 스케일링 법칙
연산	학습·추론에 필요한 시간이 감당 불가능한 수준으로 증가	CUDA 코어, 텐서 코어
메모리	연산 유닛이 데이터를 기다리며 유휴 상태가 됨	HBM 대역폭, 메모리 벽

산업적 파장: 메모리 가격이 AI 산업 전체 원가를 흔든다

이 병목은 반도체 시장 전체의 가격 구조에도 영향을 주고 있다. 시장조사업체 트렌드포스는 AI 수요와 일반 서버 수요가 겹치면서 HBM, DDR5, 고성능 SSD를 아우르는 '메모리 슈퍼사이클'이 진행 중이라고 분석했고, 2026년 D램 가격이 70% 넘게 상승할 것으로 전망했다.^[9] 이 흐름은 GPU를 사는 기업 입장에서도, 결국 GPU 가격뿐 아니라 그 안에 들어가는 메모리 가격까지 AI 인프라 투자 비용을 밀어올리는 요인이 되고 있다는 뜻이다.

한계와 확인되지 않은 부분

여기서 인용한 성장률 격차(연산 3배 vs 메모리 2배)나 실리콘 면적 비율은 특정 기업·분석기관이 제시한 수치로, 세대별·제품별 GPU 설계에 따라 실제 값은 달라질 수 있다. D램 가격 상승률 전망 역시 수요·공급 상황 변화에 따라 조정될 수 있는 시장 전망치라는 점을 감안해서 읽을 필요가 있다.

BIT-PICK 분석

AI 성능을 모델 하나의 문제로 보면 "더 큰 모델 = 더 똑똑한 AI"라는 단순한 그림이 그려지지만, 실제로는 데이터·연산·메모리라는 세 개의 파이프가 동시에 넓어져야 그 그림이 성립한다. 지금 반도체 업계에서 HBM 증설과 CXL 같은 신기술에 막대한 투자가 몰리는 이유도 여기에 있다 — 연산 칩(GPU)을 아무리 잘 만들어도, 그 칩에 데이터를 공급하는 메모리 파이프가 좁으면 투자한 연산 능력의 상당 부분이 그냥 낭비되기 때문이다. 앞으로 AI 반도체 경쟁을 지켜볼 때 GPU 스펙표의 TFLOPS 숫자만큼이나, 메모리 대역폭과 용량 숫자를 함께 봐야 하는 이유이기도 하다.

참고자료

1. Medium(Atharva Joshi), "The Speculative Escape: How LLMs Break the Memory Wall in 2026" (2026)
2. WCCFTech, "Micron Says AI's Memory Wall is Worsening as Compute outruns HBM Bandwidth by 3x every Two Years" — Hot Chips 2026 발표 인용
3. World Economic Forum, "The hardware that can break AI's memory wall" (2026)
4. DataCenterKnowledge, "Scaling the Memory Wall: HBM, CXL, and the New GPU Playbook" (2026)
5. DataCenterKnowledge, 위 기사 — Omdia 애널리스트 Manoj Sukumaran 인용
6. Penguin Solutions, "Scaling the AI Memory Wall Bottleneck With CXL Technology"
7. DataCenterKnowledge, "Scaling the Memory Wall" — AMD 관련 코멘트
8. TrendForce, "Memory Wall Bottleneck: AI Compute Sparks Memory Supercycle" — HBM4 스펙 (2026)
9. TrendForce, 위 기사 — 2026년 D램 가격 전망