병렬 딥러닝 기법에 관한 연구 동향 분석
A Survey on Parallel Deep Learning
- 주제(키워드) Deep Learning , Parallel Deep Learning , Federated Learning , Data Parallelism , Model Parallelism , Hybrid Parallelism , Pipeline Parallelism
- 주제(기타) 전자/정보통신공학
- 설명문(URI) https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002766300
- 관리정보기술 faculty
- 등재 KCI등재
- 발행기관 한국통신학회
- 발행년도 2021
- URI http://www.dcollection.net/handler/ewha/000000183072
- 본문언어 한국어
초록/요약
딥러닝(Deep Learning)은 최근 다양한 분야에서 폭넓게 사용되고 있으며, 특히 자연어 처리, 음성 인식, 이미지분류, 특징 추출 및 기계 번역과 같은 최신 기술에서의 급격한 발전을 가져왔다. 막대한 양의 데이터와 복잡한 태스크(Task)를 처리하기 위해 신경망(Neural Networks)이 커짐에 따라, 신경망의 계층(Layer)과 파라미터(Parameter) 가 많아지면서 계산 집약적인 기술들이 가능해지도록 하였다. 이러한 큰 규모의 심층신경망(Deep Neural Networks, DNNs)이 한정적인 자원의 기기들에서 동작할 수 있을 뿐만 아니라 러닝(Learning)을 가속하기 위해연합 학습(Federated Learning)이라는 병렬 처리(Parallelization) 기법이 등장하게 되었다. 본 논문에서는 데이터 병렬 처리(Data Parallelism), 모델 병렬 처리(Model Parallelism), 하이브리드 병렬 처리(Hybrid Parallelism), 그리고파이프라인 병렬 처리(Pipeline Parallelism)의 네 가지 병렬 처리 방법을 소개하고자 한다.
more초록/요약
Deep learning has been widely used in various fields, especially leading drastic development in the state-of-the-art technologies such as natural language processing, speech recognition, image classification, feature extraction, or machine translation. As the massive data and intricate tasks necessitate enlarged neural networks, the number of layers and parameters in neural networks become tremendous, resulting in great performance of compute-intensive technologies. To make large-scale deep neural networks(DNNs) scalable over resource-constrained devices and accelerate learning, some parallelization approaches have investigated under the name of federated learning. In this survey, we introduce four parallelism methods: data parallelism, model parallelism, hybrid parallelism, and pipeline parallelism.
more