CNN 기반 다중레이블 전이학습을 통한 관광 이미지 분석
Tourism Scene Analysis Through CNN-based Multi-Label Transfer Learning
- 주제(키워드) 딥러닝 , 합성곱신경망 , 다중레이블 분류 , 전이학습 , 관광 , SNS , Deep-Learning , Convolutional Neural Network , Multi-Label Classification , Transfer Learning , Tourism , SNS
- 주제(기타) 토목공학
- 설명문(URI) https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002789429
- 등재 KCI등재
- 발행기관 대한공간정보학회
- 발행년도 2021
- URI http://www.dcollection.net/handler/ewha/000000185256
- 본문언어 한국어
초록/요약
관광 사진은 관광 장면을 촬영한 사진으로 여러 객체와 배경 등 복합적으로 구성되어 있다. 그러나 현재 관광 분야에 사용되는 CNN 이미지 분류모델의 경우 사진으로부터 대부분 1개의 레이블만을 추출하기 때문에 이를 그대로 적용할 경우 관광 사진에서 다양한 컨텐츠를 추출하기 어렵다는 한계가 있다. 효과적인 관광 사진 분석을 위해 CNN 모델이 다중레이블을 출력할 수 있도록 모델을 미세조정하는 과정이 필요하다. 따라서 본 연구에서는 관광 사진에서 다중레이블을 추출하는 CNN 모델을 구축하였다. 이를 위해 높은 성능의 딥러닝 모델의 일부 레이어를 교체하고 한국 관광 사진 데이터셋에 대해 모델을 전이학습 하였으며, 관광객이 국내에서 촬영한 사진에 해당 모델을 적용하여 관광지 특성을 분석하였다. 결과적으로, 다중레이블을 활용할 경우 해당 사진을 통해 보다 풍부한 관광컨텐츠 정보를 추출할 수 있으며, 함께 촬영되는 레이블을 활용하여 특정 주제와 연관성이 높은 맥락정보를 분석할 수 있음을 확인할 수 있었다.
more초록/요약
The scene of tourist photo are composed of several objects and backgrounds. However, since the CNN image classification model currently used in the tourism field mostly extracts only one label from a photo, it is difficult to extract various contents from tourist photos if the model is applied as it is. Therefore, in order to effectively analyze tourist photos a process of fine-tuning the model is necessary so that the CNN model can output multiple labels. In this regard, this study constructed the CNN model that could extract multiple labels from tourist photos and performed transfer learning; this study replaced some layers of a high-performance deep learning model, conducted transfer learning on the Korean tourism photo dataset, and applied the model to photos taken by foreign tourists in Korea to analyze the characteristics of tourist attractions. As a result, it was confirmed that, when multiple labels are used, richer tourism content information can be extracted from the corresponding photos, and contextual information that is highly related to a specific topic can be analyzed using labels taken together.
more