음성대화시스템을 위한 사용자 시뮬레이션
User Simulation for Spoken Dialog Systems
- 주제(키워드) user simulation , dialog system , dialog evaluation , intention simulation , ASR channel simulation , utterance simulation , dialog simulation , hybrid user intention simulation
- 발행기관 포항공과대학교 컴퓨터공학과 대학원
- 지도교수 이근배
- 발행년도 2010
- 학위수여년월 2010. 2
- 학위명 박사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 세부전공 자연어처리전공
- 원문페이지 111
- 실제URI http://www.dcollection.net/handler/postech/000000563265
- 본문언어 영어
- 저작권 포항공과대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
사용자 시뮬레이션 기술은 음성대화시스템을 자동평가하는 기술의 한 분야이다. 사용자 시뮬레이션의 목적은 음성대화시스템과 대화할 수 있는 가상의 사용자를 구축하는 것이며 사용자 의도 시뮬레이션, 사용자 표층언어 시뮬레이션, 인식오류 시뮬레이션 및 자동평가 기술을 포함한다. 본 논문은 데이터 기반의 시뮬레이션 방법 및 하이브리드 시뮬레이션 방법과 자동평가 기준의 개념에 대해서 소개하며 구체적으로 선형연결 조건부 임의장 모델을 이용한 통계적 의도 시뮬레이션 방법과 마코프 논리를 이용한 하이브리드 의도 시뮬레이션 방법을 소개하며, 데이터 기반의 두 단계 사용자 표층언어 생성 방법과 음운학 및 언어학적 지식에 기반한 음성인식오류 시뮬레이션 방법을 기술한다. 더불어 시뮬레이션 결과를 자동 평가할 수 있도록 하는 측정방법을 소개한다. 제안된 시뮬레이션 기술을 이용한 자동차 네비게이션 및 건물 안내 로봇 도메인 음성대화 시스템들을 자동평가하는 실험을 수행하였다.
more초록/요약
User simulation has received recent interest to evaluate spoken dialog systems automatically. The goal of user simulation is building simulated users who can make a conversation with spoken dialog system. It involves user intention simulation, user surface simulation, error simulation and automated evaluation metrics. This dissertation discusses the concept of integrated data-driven and hybrid user simulation and evaluation criteria. Novel data-driven and hybrid user intention modeling and generating methods are proposed that uses a linear-chain conditional random field and Markov logic, and a two phase data-driven domain specific user utterance simulation method and a linguistic knowledge-based ASR channel simulation method are also presented. Evaluation metrics are introduced to measure the quality of user simulation at intention and utterance. Experiments using these techniques were carried out to evaluate the performance and behavior of dialog systems designed for car navigation dialogs and a building guide robot.
more목차
1 Introduction
1.1 Introduction
2 User Simulation for Spoken Dialog Systems
2.1 Problem Definition
2.1.1 User Intention Simulation
2.1.2 User Utterance Simulation
2.1.3 ASR Channel Simulation
2.1.4 Evaluation Metrics
2.2 User Simulation Criteria
2.2.1 Naturalness
2.2.2 Variety
2.2.3 Controllability
3 User Intention Simulation
3.1 Data-driven approach to user intention simulation
3.1.1 Linear-chain CRFs
3.1.1.1 Model
3.1.1.2 Parameter Estimation
3.1.1.3 Inference
3.1.2 User intention modeling using a linear-chain CRF
3.2 Hybrid appraoch to user intention simulation
3.2.1 Markov logic
3.2.2 User intention modeling in Markov logic
3.2.2.1 Data-driven user intention modeling in Markov
logic
3.2.2.2 User dialog knowledge in Markov logic
3.2.2.3 User simulation process
4 User Utterance Simulation
4.1 Two-phase user utterance simulation
4.1.1 First Phase - Generating Structure and Word Sequence
4.1.2 Second Phase - Selection by the BLEU measure
4.1.3 Illustration of user simulation process
5 ASR Channel Simulation
6 Evaluation Metrics
6.1 Evaluation metrics for utterance simulation
6.2 Evaluation metrics for intention simulation
6.2.1 Discourse BLEU
6.2.2 Kullback-Leibler divergence
7 Experiments
7.1 Case study I
7.1.1 Experiments on user intention simulation
7.1.2 Experiments on user surface simulation
7.1.3 Unseen rate of words and intention sequence simulation
7.1.4 Experiments on ASR channel simulation
7.1.5 Simulator and dialog system behavior
7.1.6 Comparison of dialog managers using user simulation
7.2 Case study II
7.3 Case Study III
8 Disscusion
8.1 User simulation techniques
8.2 Evaluation metrics for user simulation
8.3 Experiences
8.4 Future Direction
한글 요약문
감사의 글