차세대 메모리 소자를 적용한 신경망 처리장치의 성능 분석
Performance Analysis of Neural Processing Units with Emerging Memory Technologies
- 주제(키워드) Computer architecture , Neural processing unit , Deep neural network , Memory system
- 주제(기타) 전자/정보통신공학
- 설명문(URI) https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002981818
- 관리정보기술 faculty
- 등재 KCI등재
- 발행기관 대한전자공학회
- 발행년도 2023
- URI http://www.dcollection.net/handler/ewha/000000209175
- 본문언어 한국어
초록/요약
최근 심층신경망의 파라미터 수가 증가함에 따라, 심층신경망 연산을 처리하기 위한 신경망 처리장치는 더 많은 메모리 용량과 대역폭을 요구한다. 기존 신경망 처리장치는 오프칩 메모리로 DRAM을 주로 사용한다. DRAM은 무어의 법칙이 종료된 현재 지속적으로 소형화하는 것에 한계가 있다. 따라서, 증가하는 메모리 요구사항에 맞추어 대용량의 오프칩 메모리를 확보하기 위해서는 DRAM이 아닌 다른 메모리 기술을 기반으로 오프칩 메모리를 구성하는 대안을 고려하여야 한다. 차세대 메모리 소자들은 대체로 DRAM 대비 높은 bit density를 가지는 이점이 있다. 그러나 이러한 기술들은 DRAM에 비해 대역폭과 레이턴시 특성이 좋지 못한 경우가 많다. 따라서 차세대 메모리 소자를 적용한 신경망 처리장치를 설계하기에 앞서 성능과 면적 두 가지 면에서 면밀한 분석이 이루어져야 한다. 본 논문에서는 시뮬레이션을 통해 다양한 메모리 소자의 성능 및 면적 대비 성능을 분석한다.
more초록/요약
Recent deep neural networks (DNN) contain an increasing number of parameters. To provision the parameters to neural processing units (NPU), off-chip memory requires a larger capacity and higher bandwidth. Conventional NPUs employ DRAM as the off-chip memory, but DRAM cannot achieve a sustainable scalability in density. To overcome this challenge, prior work has investigated emerging memory technologies as alternatives to DRAM. However, the emerging memory technologies often exhibit lower bandwidth and longer latency than DRAM. As such, designing neural network acceleration systems with NPUs and emerging memory technologies requires a detailed design space exploration in terms of performance and area. This paper performs evaluations the performance per area with various memory technologies while running neural network inference workloads.
more