HBM (High Bandwidth Memory)
HBM(High Bandwidth Memory)은 GPU·AI 가속기·HPC 서버에서 사용되는 초고대역폭·저전력 3D 적층 메모리다. 기존 GDDR·DDR 메모리보다 훨씬 높은 메모리 대역폭을 제공하며 대규모 병렬 연산·AI 학습·추론 처리에서 필수적인 차세대 고대역폭 메모리 규격이다.
Ⅰ. HBM 이란?
HBM은 여러 개의 DRAM 다이를 수직으로 적층(3D TSV)하여 인터포저(Interposer)를 통해 초고속으로 연결하는 메모리 기술이다. 대역폭은 높으면서 전력은 낮고, 지연시간도 짧아 GPU, AI 가속기, TPU에서 가장 중요한 메모리 구조로 자리잡았다.
Ⅱ. HBM의 핵심 원리
- ① 3D TSV 적층 — DRAM 다이를 수직 적층해 초고속 연결
- ② 실리콘 인터포저 — GPU/AI 칩과 초폭넓은 버스로 직접 연결
- ③ 초고대역폭 — 기존 GDDR 대비 수십 배 이상
- ④ 저전력 설계 — 병렬 I/O 증가로 전압을 낮춘 구조
- ⑤ 대규모 병렬 처리 — HPC·AI 학습에 필수
즉, HBM은 대규모 연산을 위한 초고대역폭·저전력 메모리의 결정판이다.
Ⅲ. 왜 중요한가?
- AI 모델 폭증 대응 — LLM·비전 모델 학습에 필수
- GPU 성능 병목 해소 — 연산력이 아닌 “메모리 속도”가 중요
- HPC 필수 요소 — 과학·의료·기후 연구
- 데이터 센터 핵심 자원 — GPU + HBM 조합이 표준화
Ⅳ. HBM의 발전
- HBM1 — 초기 적층 메모리
- HBM2 / HBM2E — AI·HPC 본격 채택
- HBM3 — NVIDIA H100, MI300 등 최신 AI 가속기
- HBM3E — 1 TB/s 이상 초고대역폭 시대
Ⅴ. HBM vs DDR vs GDDR
| 구분 | HBM | GDDR | DDR |
|---|---|---|---|
| 목적 | AI·HPC 고대역폭 | 그래픽·게이밍 | 일반 시스템 메모리 |
| 대역폭 | 최고 (수백~1TB/s) | 중간 | 낮음 |
| 전력 효율 | 매우 높음 | 보통 | 높음 |
| 사용 예 | GPU·AI 칩·TPU | 그래픽 카드 | PC·서버 메모리 |
Ⅵ. 활용 분야
- AI 학습 — LLM·멀티모달 모델
- AI 추론 — 데이터센터·클라우드
- HPC — 시뮬레이션·기상·물리 연구
- 그래픽·렌더링 — 고해상도·고프레임 처리
Ⅶ. 요약
HBM은 GPU·AI 칩·HPC 시스템에서 사용되는 초고대역폭·저전력 3D 적층 메모리로, AI 시대 성능을 결정하는 핵심 자원이다. AI 모델이 커지고 계산량이 증가할수록 HBM은 GPU만큼 중요한 연산 성능의 핵심 요소가 된다.