인공지능(AI) 확산으로 올해 메모리 시장도 본격적인 활황을 맞이할 것으로 전망된다. AI 칩셋이 고도화되며 필요로 하는 D램도 고용량·고성능화되고 있기 때문이다. 여기에 에지(온디바이스) AI 생태계 확장으로 스마트폰과 PC의 D램 탑재량 또한 늘어나고 있다. AI가 침체된 정보기술(IT) 생태계 전반에 새 바람을 불어넣으며 메모리 시황이 급속히 개선될 것이라는 기대감이 이어진다.

25일 반도체 업계에 따르면 엔비디아가 올 2분기 출시할 AI 가속기 ‘H200’은 업계 최초로 고대역폭메모리(HBM)3e를 탑재한다.

HBM3e는 SK하이닉스(000660)가 엔비디아에 납품 중인 HBM3의 후속 규격이다. 데이터 전송 속도는 9.6Gb/s(초당기가비트)로 6.4Gb/s인 HBM3보다 50% 빠르다. 새 규격인 만큼 기존 HBM보다 단가 또한 높음은 물론이다. H200은 최신 HBM3e를 사용하는 데 더해 메모리 탑재량도 크게 늘었다. 전작인 H100이 HBM3 규격의 80GB(기가바이트) 메모리를 사용한 데 반해 H200은 HBM3e 141GB가 쓰인다. 단순 메모리양만 비교해도 76.3% 늘어나는 것이다.

엔비디아 외 타 AI 가속기 제조사도 경쟁적으로 메모리 고급화와 고용량화에 나서고 있다. 엔비디아의 최대 경쟁사로 손꼽히는 AMD는 지난해 12월 선보인 최신 AI 가속기 ‘인스팅트 MI300X’에 192GB의 HBM3 메모리를 적용했다. 전 세대인 MI250X의 128GB HBM2e에서 용량과 품질 모두 개선된 셈이다.

자체 제작한 AI 가속기 ‘TPU’를 사용 중인 구글도 발 빠르게 움직이고 있다. 구글은 지난해 말 초거대 AI ‘제미나이’와 함께 최신 ‘TPUv5p’를 공개했다. 제미나이 학습에 쓰인 TPUv5p는 95GB의 HBM3를 사용한다. TPUv4 버전이 32GB를 사용한 데 비해 메모리가 3배가량 늘어났음을 알 수 있다.

메모리 증가 추세는 AI 가속기에만 한정된 게 아니다. AI를 구동할 IT 기기도 과거보다 메모리 탑재량이 늘고 있다. 자체적으로 AI 연산을 처리하는 온디바이스 AI 확산으로 각 기기에 높은 성능이 요구되기 때문이다. 실제 삼성전자가 공개한 ‘AI폰’ 갤럭시 S24+는 D램을 기존 8GB에서 12GB로 50% 늘렸다. 노트북과 데스크톱 등 PC의 D램 ‘최소 요구치’도 증가할 것으로 전망된다.

최근 대만의 시장분석 기관 트렌드포스는 “AI 운영체제(OS)가 될 윈도12부터는 16GB D램이 표준화된다”는 전망을 내놓았다. 현재 표준인 8GB로는 AI를 자체 구동하기 힘들다는 얘기인데 더 높은 용량의 메모리가 기본 사양으로 탑재되는 것이 대세가 되고 있다.