당신이 지금 쓰고 있는 ChatGPT, 그 뒤에서 돌아가는 칩은 무엇일까요? GPU? TPU? 아니면 NPU? 2026년 3월 현재, AI 반도체 시장은 전쟁터입니다. 엔비디아 GPU가 여전히 강력하지만, 구글 TPU로 학습된 Gemini 3.0이 ChatGPT를 능가하며 판도가 흔들리고 있습니다. NPU는 스마트폰과 노트북에서 필수가 되었고요. 하지만 "NPU, TPU, GPU — 뭐가 다른 거야?"라는 질문에 명확히 답할 수 있나요? 초보자도 이해하는 완벽 가이드입니다.
먼저 근본적 질문부터 시작해봅시다. 왜 AI에는 특별한 칩이 필요할까요?
CPU(Central Processing Unit)는 "범용 프로세서"입니다. 엑셀도 돌리고, 웹 브라우저도 돌리고, 게임도 돌립니다. 하지만 AI 작업, 특히 딥러닝 학습은 다릅니다:
CPU는 직렬 처리(Sequential)에 강하지만, AI는 병렬 처리(Parallel)가 필수입니다. 바로 여기서 GPU, TPU, NPU가 등장합니다.
GPU는 원래 그래픽 렌더링을 위해 만들어졌습니다. 게임에서 수백만 개의 픽셀을 동시에 처리하려면 병렬 연산이 필수이기 때문입니다. 그런데 2012년, 캐나다 연구팀이 발견했습니다: "GPU로 딥러닝을 돌리면 CPU보다 100배 빠르다!"
이후 엔비디아(NVIDIA)의 GPU는 AI 학습의 사실상 표준이 되었습니다. 2026년 현재도 OpenAI, Meta, Anthropic 모두 엔비디아 GPU로 모델을 학습합니다.
GPU의 핵심은 병렬 처리 아키텍처입니다:
예를 들어, 엔비디아 H100 GPU는 16,896개의 CUDA 코어를 탑재하고 있습니다. 하나의 연산은 느리지만, 동시에 수천 개를 처리하니 전체 속도는 압도적입니다.
구글은 2015년, 자체 검색 엔진에 AI를 도입하려다 문제를 발견했습니다: "GPU로도 모든 검색 쿼리를 실시간 처리하려면 데이터센터를 2배로 늘려야 한다!"
해결책은 간단했습니다: AI 전용 칩을 직접 만들자. 그렇게 탄생한 것이 TPU입니다.
TPU의 핵심은 **시스톨릭 어레이(Systolic Array)**입니다. 이는 행렬 곱셈에 최적화된 구조로, GPU보다 훨씬 빠릅니다:
구글 TPU v5e는 **초당 275조 번의 연산(275 TFLOPS)**을 수행하며, 전력 효율은 GPU 대비 2~3배입니다.
2020년대 초반까지 AI는 클라우드에서만 돌아갔습니다. 하지만 2023년부터 **온디바이스 AI(On-Device AI)**가 대세가 되었습니다. 이유는 간단합니다:
NPU는 바로 이 온디바이스 AI를 위한 칩입니다.
NPU는 TPU와 유사하게 AI 추론(Inference)에 특화되어 있지만, 훨씬 작고 전력 효율이 높습니다:
애플 M4 칩의 NPU는 **초당 38조 번 연산(38 TOPS)**을 수행하며, 전력은 단 5W입니다.
| 항목 | GPU | TPU | NPU |
|---|---|---|---|
| 용도 | 학습 + 추론 | 학습 + 추론 | 추론만 |
| 속도 | 빠름 | 매우 빠름 | 빠름 (제한적) |
| 전력 효율 | 낮음 (700W) | 중간 (300W) | 매우 높음 (5W) |
| 범용성 | 높음 | 낮음 | 매우 낮음 |
| 가격 | 매우 비쌈 | 클라우드만 | 기기 내장 |
| 접근성 | 구매 가능 | 구글 클라우드만 | 스마트폰/노트북 |
| 대표 제품 | NVIDIA H100 | Google TPU v5e | Apple M4 NPU |
| 주요 사용처 | OpenAI, Meta | Google, DeepMind | iPhone, 맥북 |
2025년까지는 "GPU = AI"였습니다. 하지만 2026년, 판도가 바뀌고 있습니다:
구글이 자체 TPU로만 학습한 Gemini 3.0이 ChatGPT를 능가했습니다. OpenAI는 "코드 레드(비상 상황)"를 발령했고, 업계는 충격에 빠졌습니다. "GPU 없이도 최고 AI를 만들 수 있다!"
일론 머스크는 2026년 3월, 자체 AI 칩 공장 테라팹을 발표했습니다. 삼성이나 TSMC에 의존하지 않고, 직접 AI 칩을 만들겠다는 것입니다. 애플(M칩), 구글(TPU), 아마존(Graviton)에 이어 테슬라까지 자체 칩 시대가 열렸습니다.
2026년 AI 반도체 시장은 **다극화(Multi-Polar)**로 가고 있습니다:
당신이 쓰는 AI는 어떤 칩 위에서 돌아가고 있나요? 그리고 당신의 스마트폰엔 NPU가 있나요?