The present study investigates if speech rhythm is encoded in the utterance-level speaker embedding which is an averaged value of frame-level speaker embeddings. When speaker encoders are used in Computer Assisted Pronunciation Training, finding what information is included in speaker embeddings is crucial because it defines what feature a learner should acquire to be fluent speaker. Rhythm has been regarded as a speaker identifiable feature. The speaker embeddings, however, may fail to capture rhythm features since the temporal dependency of prosody is likely to be lost by simple averaging. To quantify the degree to which rhythm information is encoded in the speaker embedding, the speaker embeddings were projected to the feature space by least square linear regression. The R-squared values for the rhythm features were consistently low across the models with the different number of parameters, in contrast to the acoustic features which showed the significantly high R-squared values. The result indicates that the utterance-mean embeddings did not encode speech rhythm of individual speaker. Based on the result, the way to better adopt speaker embeddings in CAPT system is discussed.
본 연구는 발화 리듬이 프레임 단위 화자 임베딩의 평균으로 구해지는 문장 단위의 임베딩에 반영되는 정도를 분석하고자 한다. 화자 임베딩을 컴퓨터 보조 발음 학습(Computer-Assisted Pronunciation Training, CAPT)에 사용할 때, 화자 임베딩에 어떠한 화자 정보가 포함되어 있는지는 학습자가 발화에서 어떠한 특성을 배울 것인지를 정하는 것에 중요하다. 발화 리듬은 원어민 간에도 차이가 있기 때문에, 리듬 정보가 화자 임베딩에 반영되어 있어야 할 것이다. 리듬 정보가 화자 임베딩에 반영되어있는 정도를 측정하기 위하여, 화자 임베딩을 선형회귀로 리듬 특징 공간으로 투영하였다. 분석 결과, 평균 방식으로 구해지는 문장 단위 화자 임베딩은 시간 종속적인 정보를 반영하지 못하는 것으로 드러났다. 본 연구는 이러한 결과를 통하여 CAPT 시스템에서의 음성 변환을 개선할 수 있는 방향을 논의해보고자 한다.