안녕하세요!
D.U.T입니다!
클릭 및 방문해 주셔서 감사합니다!
방문해 주시는 모든 분들에게 항상 도움이 되는 정보를 제공하도록 노력하겠습니다.
이번 포스팅은 HBM3 고대역폭 메모리라고 불리는 High Bandwidth Memory에 대해 알아보겠습니다.
지난번 포스팅에서 엔비디아 A100에 대해 찾아봤습니다.
2023.07.30 - [AI (인공지능)] - 엔비디아 A100 GPU에 HBM2e(메모리) 비중은 몇 %?
엔비디아 A100을 알아보다가 다음 버전인 H100에는 HBM3가 사용되는 것을 알았습니다. 그래서 HBM3는 어디에 사용되는지 조금 더 공부해봤습니다.
찾은 정보를 정리한 결과이다보니 정확하지 않은 정보가 있을 수 있습니다.
이점 참고해주시기 바랍니다.
● HBM3란 무엇인가?
HBM(High Bandwidth Memory)는 3D 스택 방식의 DRAM을 위한 고성능 RAM 인터페이스입니다. 여러 개의 D램을 수직으로 연결해 기존 D램보다 데이터 처리 속도를 아주 빠르게 끌어올린 고성능 메모리 제품입니다.
HBM은 1세대(HBM) → 2세대(HBM2) → 3세대(HBM2E) 순으로 발전했고, HBM3는 HBM 4세대입니다.
● HBM3 메모리는 어디에 사용될까?
HBM3 메모리는 가속컴퓨팅(Accelerated Computing), 클라우드 컴퓨팅, AI 기반 첨단기술 분야에 가장 많이 사용되고 있습니다.
※ 가속컴퓨팅(Accelerated Computing)이란?
데이터를 병렬 처리해 속도를 대폭 개선하는 컴퓨팅 방식입니다. 빠른 연산 속도를 갖춘 GPU(Graphics Processing Unit)와 고대역 초고속 메모리 반도체(HBM)를 통해 기술이 구현됩니다. 슈퍼컴퓨터, 인공 지능(AI), 딥 러닝, 머신 러닝, 시뮬레이션, 시각화 등 다양한 분야에서 사용되고 있습니다.
1. 엔비디아(NVIDIA)
NVIDIA는 가속 컴퓨팅 플랫폼을 제공합니다. NVIDIA EGX, NVIDIA HGX, NVIDIA DGX 등이 있습니다.
위에 말씀드린 플랫폼에는 엔비디아가 최근에 공개한 차세대 AI 슈퍼칩 GH200도 들어가고, H100도 사용합니다. NVIDIA Grace Hopper 슈퍼칩인 GH200에서는 HBM3 메모리 크기가 96GB까지 지원한다고 합니다.
최신 AI 슈퍼칩인 GH200을 알아보려고 했지만, 많은 정보가 없었습니다. 그래서 그나마 최신인 AI 슈퍼칩
H100에 대해 알아봤습니다.
H100에는 폼 팩터가 2가지가 있습니다. SXM5 폼 팩터와 PCIe입니다.
PCIe는 익숙하시죠?
SXM5는 Nvidia Compute Accelerator를 시스템에 연결하기 위한 고대역폭 소켓 설루션입니다.
2가지 폼 팩터에서 HBM3는 SXM5 폼 팩터에서만 사용합니다.
같은 H100 GPU를 사용해도 폼 팩터에 따라 PCIe에서는 HBM2e를 사용하고 SXM5에서만 HBM3를 사용한다? 아마도 제품의 급 나누기이지 않을까 생각합니다. 다른 이유는 떠오르지 않네요.
▶ NVIDIA H100 PCIe GPU (HBM2e 사용)
NVIDIA H100 PCIe는 최대 350W를 소모하네요. 전력 소모가 작다고 해야 될까요?
NIVIDIA 그래픽카드 RTX 4090가 최대 450W 이상 소모하니 상대적으로 전력을 작게 소모하는 것 같습니다.
HBM을 확인해 보면 NVIDIA H100 PCIe에 적용한 HBM2e의 메모리 크기는 80GB이지만, 실제 제품을 보면 HBM이 6개가 인터포저(interposer)로 연결되어 있습니다.
A100 GPU 분석 포스팅에서도 말씀드린 적이 있는데, 16GB를 분명 사용하고 있는데 96GB가 아닌 80GB 입니다. 나머지 메모리는 어디에 사용하는지 궁금하긴 합니다. 저번에도 궁금했지만, 아직 자세하게 찾아보지는 않았습니다.
▶ NVIDIA H100 SXM GPU (HBM3 사용)
NVIDIA H100 SXM은 최대 700W를 소모합니다. 전기 먹는 하마네요.
NVIDIA H100 SXM을 1개만 사용하는 것이 아니라 여러 개를 NVLink로 연결하여 사용하면 소비 전력은?
생각만 해도 엄청납니다.
NVIDIA H100 SXM에는 HBM3를 사용합니다. HBM3는 스펙상으로는 80GB이지만, 다른 모델처럼 실제로는 16GB 메모리가 남습니다. 어디에 사용되는 것일까요?
SXM 폼 팩터는 VRM(voltage regulator module), 전압 조정 모듈이 PCIe 폼 팩터보다 많습니다. 아무래도 전력을 많이 소비하다 보니 많은 VRM이 필요한 것 같습니다.
이상으로 엔비디아 제품에는 어디에서 HBM3가 사용되는지 알아봤습니다.
다음은 AMD를 알아보겠습니다.
2. AMD(Advanced Micro Devices)
‘빛사 수’, ‘갓사 수’, ‘리사 수 누나’라고 불리는 리사 수 CEO가 이끄는 AMD 제품의 GPU를 알아보겠습니다.
AMD Instinct 가속기는 MI300, MI250X, MI250 등이 있습니다. MI200 SERIES ACCELERATOR에서는 HBM2e를 사용하고 있습니다.
HBM3를 사용하는 모델은 MI300으로 확인됩니다. 그래서 MI300에 대해 찾아봤습니다.
▶ AMD MI300 GPU (HBM3 사용)
NVIDIA와 비교하면 PCIe 인터페이스는 4.0 * 16 lane을 사용합니다.
PCIe 5.0 대비 전송속도는 느리겠네요.
AMD MI300에서는 HBM3를 사용합니다. 총 8개의 HBM3를 사용합니다.
16GB * 8 = 128GB 이므로 MI300 스펙과 동일합니다.
AMD MI300에는 삼성전자와 하이닉스가 HBM3를 공급하는 것으로 알려져 있습니다.
삼성전자, 하이닉스 흥해라~
NVIDIA와 비교하면 AMD MI300은 HBM3를 아주 많이 사용합니다. 약 1.6배 정도 메모리 크기 차이가 있습니다.
HBM3 메모리가 어디에 사용되는지 간략하게 알아봤습니다. 현재 기준으로는 엔비디아와 AMD의 AI Chip에 HBM3가 많이 사용되는 것을 알 수 있었습니다. 추가적으로 다른 곳에서 어디에 사용되는지 정보가 잘 안 나오네요.
포스팅을 읽어주셔서 감사합니다.
'AI (인공지능)' 카테고리의 다른 글
| 하이브리드 AI 개념, 공부 내용 정리! (By. 퀄컴) (0) | 2024.04.07 |
|---|---|
| 엔비디아 A100 GPU에 HBM2e(메모리) 비중은 몇 %? (0) | 2023.07.30 |
| AI 시대, 데이터는 왜 중요할까? 인공지능의 밥: 데이터! (0) | 2023.07.23 |
| 풀 스택(Full-stack) AI와 수직(Vertical) AI란? (ft.테슬라) (0) | 2023.04.23 |
| AI 반도체(AI 하드웨어 가속기=NPU), 개념+기초 정리! (0) | 2023.04.16 |
