언어 모델링 사전 학습 모델인 BERT는 자연어처리 전반에 걸쳐 상당한 성능 향상을 가져왔습니다. 이러한 사전 학습 모델들은 다양한 주제를 담고 있는 아주 큰 말뭉치에 대해 학습되었기 때문에 훈련 데이터와 테스트 데이터의 분포가 다른 도메인 변화 문제에 대해서도 강건한 성능을 보여줍니다. 기존 다른 기계학습 모델에 비해 큰 성능 향상을 보여주긴 하지만 BERT 또한 여전히 도메인 변화에 따른 성능 저하를 겪게 됩니다. 이러한 문제를 해결하기 위해서 우리는 간단하지만 효과적인 비지도 도메인 적응 방법인 지식 증류를 동반한 적대적 적응 방법 (AAD)을 제시합니다. 이 방법은 적대적 판별 도메인 적응 프레임워크 (ADDA)와 지식 증류 (Knowledge Distillation)를 결합한 방법으로서 기존 ADDA의 한계점을 극복하였습니다. 기존 ADDA 방법의 경우 BERT에 적용하였을 시, label 정보에 접근할 수 없어 발생하는 mode collapse로 인하여 무작위 예측 성능을 갖게 되는 것을 확인할 수 있었으나, 우리가 제안한 AAD 방법의 경우 이 문제를 해결하며 성능 향상을 가져오는 것을 30가지 도메인 데이터셋 페어를 이용하여 확인하였고 최고 성능을 보여주었습니다.