멀티 테넌트 환경에서 Multi-Instance 그래픽 프로세싱 유닛을 활용한 워크로드 단위 공정성 분석 연구
Fairness Analysis of Multi-tenant Applicationson Multi-Instance GPUs
- 주제(키워드) Multi-Instance GPU , Multi-tenant , Fairness , Slice
- 주제(기타) 전자/정보통신공학
- 설명문(URI) https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002951426
- 관리정보기술 faculty
- 등재 KCI등재
- 발행기관 대한전자공학회
- 발행년도 2023
- URI http://www.dcollection.net/handler/ewha/000000204957
- 본문언어 한국어
초록/요약
최근 클라우드 서비스 등이 증가함에 따라 하나의 그래픽 프로세싱 유닛에서 여러 애플리케이션이 한정된 리소스를 분할하여 사용하는 멀티 테넌트 연산 환경이 보편화되고 있다. 이에 따라 각 애플리케이션이 얼마나 공정하게 리소스를 할당 받는지에 대한 관심이 높아지고 있다. 본 연구는 Multi-Instance 그래픽 프로세싱 유닛을 사용하여, 스트리밍 멀티프로세서 슬라이스 및 메모리 슬라이스 개수에 따른 애플리케이션의 성능 패턴을 분석하였다. 이를 기반으로, 동일한 패턴을 가지는 두 애플리케이션이 하나의 그래픽 프로세싱 유닛에서 동시에 실행될 때와 서로 다른 패턴을 가지는 두 애플리케이션이 하나의 그래픽 프로세싱 유닛에서 동시에 실행될 때, 각 애플리케이션에게 할당한 슬라이스 개수에 따른 공정성을 분석하였다. 그 결과 슬라이스 개수를 절반씩 분할하거나, 특정 애플리케이션의 성능이 포화되는 지점을 기준으로 슬라이스 개수를 분할하는 경우에 공정성이 가장 높다는 사실을 확인하였다. 본 논문의 기여는 다음과 같이 정리할 수 있다. (i) 슬라이스의 개수에 따른 성능 패턴을 분석하여 애플리케이션을 세 가지 형태로 분류하였고, (ii) 동일한 성능 패턴을 가지는 애플리케이션이 하나의 그래픽 프로세싱 유닛에서 동시에 실행될 때 가장 높은 공정성을 도출하는 방법을 제시하였으며, (iii) 서로 다른 성능 패턴을 가지는 애플리케이션이 동시에 실행될 때 가장 높은 공정성을 도출하는 알고리즘을 제시하였다.
more초록/요약
Recently Multi-Instance Graphics Processing Units (GPUs) have been widely used in multi-tenant cloud computing environments, where multiple concurrent applications are executed on a single GPU, sharing limited resources. Nevertheless, studies lack in the sphere of fairness between applications executing on Multi-Instance GPUs. This paper conducts a detailed analysis of the fairness of concurrently executing applications on Multi-Instance GPUs. First, we analyze the performance of an application according to the number of streaming multiprocessor slices and memory slices used in Multi-Instance GPUs. Then, based on the analyzed performance patterns, we measure the fairness of applications and reveal that the highest fairness is guaranteed when slices are divided evenly, or in an asymmetric form considering the performance saturation point. In summary, this study makes three major contributions. (i) We define the three types of applications classified for the performance patterns with the increase of the number of slices used. (ii) We present an algorithm of the case with the highest fairness when intra-type applications are executed concurrently. (iii) We also present an algorithm for the highest fairness in those situations where inter-type applications are executed concurrently.
more