검색 상세

입력 데이터 무작위도 특성이 기본 오토인코더와 적층 오토인코더의 학습 성능에 미치는 영향

Impact of Input Data Randomness on Training Performance of Basic Autoencoder and Stacked Autoencoder

초록/요약

본 논문에서는 입력 데이터 특성 중 하나인 무작위도가 오토인코더의 학습 성능에 미치는 영향을 살펴본다. 가우시안 분포를 따르는 입력 데이터를 가정하여 입력 데이터의 무작위도와 오토인코더의 학습 성능이 선형 관계에있음을 이론적으로 증명하였다. 이론적 증명을 실험적으로 확인하기 위하여, 입력 데이터의 표준편차와 평균을 변화시켜가며 실험을 진행하였다. 그 결과, 입력 데이터의 평균에 관계없이 입력 데이터의 표준편차와 오토인코더의학습 손실이 선형 관계임을 보임으로써 이론적 증명과 실험 결과가 동일함을 확인하였다. 기본 구조의 오토인코더에 대한 실험과 적층 오토인코더에 대한 실험을 각각 진행하여 은닉층의 수에 관계없이 입력 데이터의 무작위도가 오토인코더의 학습 성능과 선형 관계에 있음을 확인하였다. 이때 은닉층의 노드 개수가 증가할수록 오토인코더의 학습 손실이 감소하며, 입력 데이터의 무작위도에 따른 학습 손실의 변화가 적음을 알아내었다.

more

초록/요약

In this paper, we examine the impact of the input data randomness on the traning performance of the autoencoder. Assuming the input data follow a Gaussian distribution, we mathematically analyze that the randomness of the input data and the training performance of the autoencoder have a linear relationship, and demonstrate this finding through experiments. Experiments on the basic autoencoder and the stacked autoencoder confirm that the input data randomness and the training performance of the autoencoder have a linear relationship regardless of the number of hidden layers. In addition, we examine the training performance of autoencoder according to the mean and standard deviation of the input data. The results support that the mean of the input data has a negligible effect on the training loss of the autoencoder. Therefore, we ensure consistency between mathematical analysis and the experimental results that the number of nodes in the hidden layer increases, the training loss of the autoencoder and the impact of input data randomness decrease.

more
반출 Meta View 목록