사회기반시설의 노후화에 따른 사회적 수요의 증가로, 영상 기반 딥러닝 모델을 활용한 자동화된 안전진단 기술에 대한 많은 연구들이 진행되고 있다. 일반적으로 딥러닝 모델을 사용하기 위해서는 일정한 형태로 라벨링된 데이터를 이용한 학습을 수행하여야 한다. 그러나, 기존 인력 기반의 수동 라벨링은 많은 시간과 노동력이 소요될 뿐만 아니라, 작업자의 경험과 지식에 대한 의존도가 높아 정확성과 일관성을 담보하기 어렵다. 본 연구에서는 신속, 정확, 일관된 라벨링을 위하여 사전 학습된 딥러닝 모델을 활용한 반자동 이미지 라벨링 시스템을 개발하고, 이를 이용한 학습데이터 구축 방법의 성능을 검증하였다. 개발된 반자동 이미지 라벨링 시스템은 미리 학습된 CGNet(Context Guided Network) 모델과 SAM(Segment Anything Model)을 이용하여 최소한의 인력 개입을 통해 4종의 콘크리트 손상을 라벨링할 수 있다. 균열의 경우에는 지정된 RoI 내에서 CGNet 모델을 이용하여 라벨링되며, 다른 손상들은 SAM 모델을 이용하여 객체와 배경을 지정해 주면 그에 맞는 라벨링이 수행된다. 본 시스템은 사용자의 편의성을 고려하여 GUI 기반의 프로그램으로 개발되었으며, 수행된 라벨링 결과를 브러시 툴을 사용하여 수동으로 수정할 수 있다. 개발된 반자동 라벨링 시스템의 성능(신속성, 정확성, 일관성)을 검증하기 위해 4명의 라벨러가 80장의 콘크리트 외관 손상 이미지를 사용하여 반자동-수동 라벨링 비교 실험을 수행하였다. 그 결과, 수동 라벨링 대비 소요시간이 평균 87.97% 단축되었으며, 손상탐지 정확도는 평균 mIoU 67.07%를 보였다. 또한, 라벨러 간 결과물의 유사도는 평균 mIoU 78.44%의 수치를 보임으로써, 신속성과 정확성, 일관성을 검증하였다. 또한 반자동과 수동 라벨링 학습데이터의 학습 성능을 비교하기 위하여, 동일한 이미지에 반자동과 수동으로 라벨링을 수행한 뒤, 이를 활용하여 딥러닝 모델인 DeepLabV3+와 CGNet을 각각 동일한 조건으로 학습하였다. 콘크리트 손상 이미지 2,518장으로 두 가지 라벨링 방식의 데이터를 통해 모델을 학습한 결과, 반자동 라벨링 데이터 활용 모델의 객체탐지 정확도(mIoU)가 수동 라벨링 데이터 활용 모델 대비 94%~106% 수준으로 나타났다. 이를 통해 개발된 반자동 라벨링 시스템이 콘크리트 손상을 탐지하는 모델 개발에 효율적으로 활용될 수 있음을 보였다.