지금부터 HBM-PIM의 구조와 특징에 대해서 자세히 살펴보시겠습니다. 자료출처=삼성전자 ISSCC 2024 발표 자료.
기존 D램 구조(왼쪽)와 오른쪽 HBM-PIM의 구조. 기존대로라면 연산에 활용될 가능성이 있는 온갖 매개변수들이 I/O를 타고 GPU의 ALU로 들어가죠. GPU의 ALU는 충분히 연산 능력이 되지만, 저곳까지 전달되는 통로의 교통 체증은 극악하죠. 하지만 PIM은 각각의 뱅크에서 연산이 진행됩니다.
HBM-PIM(주황색 선) 연산 시간과 기존(파랑색 선) 연산 시간 차이가 보이시나요. 생성형 AI 구현에서 확실한 차이를 낼 수 있을 것이라는 결론이 나옵니다. 자료출처=삼성전자 ISSCC 2024 발표자료.
AMD가 삼성전자 HBM-PIM을 적용한 GPU ‘M100-PIM’. 사진제공=삼성전자 ISSCC2024 발표자료
HBM-PIM(하늘색)과 기존 HBM을 GPU에 적용했을 때의 성능 차이. 사진제공=삼성전자 ISSCC2024 발표자료
리사수가 삼성전자 HBM-PIM을 적용했더니 전력이 기존보다 85% 이상 줄었다고 공식 발표한 적도 있습니다. 사진제공=삼성전자 ISSCC2024 발표자료
LPDDR D램에 PIM 기술을 적용했을 때의 성능 개선을 보여주는 장표. 자료출처= 삼성전자 ISSCC 2024 발표 자료.
사진제공=인텔
