[뉴스웍스=전다윗 기자] 삼성전자가 최근 주목받는 '초거대 AI'를 지원하기 위한 메모리 기술을 선보였다. 차세대 기술로 시장 요구에 선제적으로 대응하고, 메모리 분야 '초격차'를 유지하는 것이 목표다. 

20일 삼성전자는 프로세싱인메모리(PIM)와 프로세싱니어메모리(PNM) 기술을 활용한 메모리 솔루션을 확보한 데 이어, 이를 구현하는데 필요한 소프트웨어의 표준화를 완료했다고 밝혔다. 해당 기술들은 삼성전자가 초거대 AI 모델을 지원하기 위해 제시한 솔루션이다. 

초거대 AI는 최근 AI 분야에서 화두가 되고 있는 기술이다. 기존 AI에서 한 단계 진화한 AI로, 인간의 뇌처럼 여러 상황을 스스로 학습해 사고·판단한다. 가령 기존 AI 활용 사례로 많이 알려진 이미지 분석 작업의 경우, 초거대 AI는 한발 더 나아가 사람의 언어를 이해하고 이를 바탕으로 스스로 이미지를 만들어낼 수도 있다. 

이러한 수준의 AI를 구현하기 위해서는 훨씬 더 대용량의 데이터에 대한 학습과 연산이 필요하다. 이를 수행할 수 있는 컴퓨팅 인프라도 갖춰야 한다. 메모리 업계는 이러한 요구에 대응하기 위해 컴퓨팅 성능을 뒷받침할 충분한 D램 용량과 대역폭을 제공하는 기술을 선제적으로 개발하고 있다. 이러한 상황에서 메모리 업계 1위 삼성전자가 제시한 솔루션이 PIM, PNM 기술이다.  

◆HBM-PIM 적용 GPU 가속기…"성능 늘고 에너지 소모 줄어"

PIM은 프로세서가 수행하는 데이터 연산 기능을 메모리 내부에 구현한 기술이다. PIM이 없는 시스템에서는 프로세서가 메모리로부터 명령어를 불러오고 실행하며, 그 결과를 다시 메모리(기억장치)에 저장한다. 이 과정에서 다량의 데이터 이동이 필요하다. 

PIM을 활용하면 메모리 내부에서 연산 처리가 가능해 CPU와 메모리 간 데이터 이동이 줄어 AI 가속기 시스템의 성능과 에너지 효율이 높아진다. 

이 개념을 활용한 솔루션이 최근 삼성전자가 개발한 HBM-PIM이다. PIM 기술을 활용해 슈퍼컴퓨터(HPC)와 AI 등 초고속 데이터 분석에 활용되는 HBM2 Aquabolt에 인공지능 엔진을 탑재한 제품이다. HBM2 Aquabolt는 지난 2018년 1월 삼성전자가 양산한 2세대 고대역폭 메모리 반도체다. 

삼성전자는 AMD와의 협력을 통해, 이미 상용화된 AMD의 GPU 'MI-100' 가속기 카드에 HBM-PIM 메모리를 탑재해 가동하는 것에 성공했다고 밝혔다. 삼성전자에 따르면 HBM-PIM을 활용하지 않은 기존 GPU 가속기와 비교해 평균적으로 성능은 약 두 배 증가하고, 에너지 소모는 약 50% 감소한다. 

삼성전자는 8개의 GPU 가속기로 시스템을 구성하고 대용량 AI 언어 모델을 학습시켜 보기도 했다. 그 결과 HBM-PIM을 탑재한 GPU 가속기가 단순 HBM만을 탑재한 GPU 가속기보다 1년 동안 사용하는 에너지가 약 2100GWh(기가와트시) 절감되는 것으로 나타났다. 이는 약 1억 그루의 소나무가 1년 동안 흡수하는 탄소보다 많은 양이다.

삼성전자 관계자는 "현재 데이터센터들이 초거대 AI와 관련해 직면하고 있는 메모리 용량과 대역폭 한계로 인한 병목현상을 효율적으로 개선하고 전력량 절감에도 기여할 수 있을 것으로 기대된다"고 말했다

또 삼성전자는 이를 지원할 수 있는 소프트웨어도 준비하고 있다. 개방형 소프트웨어 표준인 SYCL을 활용해 이번에 구현한 GPU 가속기를 사용할 수 있는 소프트웨어 사양을 정의했으며, 이를 바탕으로 한 소프트웨어도 내달 공개할 예정이다. 

◆CXL 기반 PNM 솔루션…2배 이상 성능 향상

CXL은 컴퓨팅 시스템에서 사용되는 인터페이스다. 프로세서와 함께 사용되는 가속기와 메모리를 보다 효율적으로 사용하고 메모리 용량의 확장을 용이하게 한다. 

PNM은 PIM처럼 메모리를 데이터 연산 기능에 활용해 CPU와 메모리 간 데이터 이동을 줄여주는 기술이다. 연산 기능을 메모리 옆에 위치시켜 CPU-메모리 간 발생하는 병목현상을 줄이고 시스템 성능을 개선한다. 

삼성전자가 이번에 개발한 CXL 인터페이스 기반 PNM 기술은 고용량 AI 모델의 처리에 적합한 솔루션이다. 높은 메모리 대역폭을 요구하는 추천 시스템이나 인-메모리 데이터베이스 등의 응용에서 약 2배 이상 성능이 향상된다. 삼성전자는 해당 기술을 최근 미국에서 개최된 '삼성 테크 데이' 행사에서 업계 최초로 공개했다.

삼성전자는 향후 HBM-PIM과 CXL 기반 PNM 기술의 확산을 위해 IT 업계 및 학계와 적극적으로 소통할 계획이다. HBM-PIM과 CXL 기반의 PNM 솔루션을 지원하는 통합 소프트웨어를 공개할 예정이며, 업계 최대 슈퍼 컴퓨팅 학회인 SC22에도 참가해 해당 솔루션을 전시·시연할 예정이다. 

박철민 삼성전자 메모리사업부 신사업기획팀장 상무는 "HBM-PIM 기술은 업계 최초의 거대 규모 인공지능 분야 맞춤형 메모리 솔루션"이라며 "통합 소프트웨어 표준화 과정을 거쳐 CXL-PNM 솔루션과도 접목해 에너지 절감 및 탄소 배출 저감 효과를 극대화함으로써 친환경 경영에 기여할 것"이라고 말했다.