도시에서 발생하는 다양한 소리를 통해 상황에 대한 정보를 얻을 수 있다. 도시 소음의 종류를 인식하기 위해 환경음 분류 분야에 딥러닝을 적용하는 연구가 많은 관심을 받고 있다. 일반적으로 높은 정확도를 가진 딥러닝 모델은 많은 양의 연산 자원과 메모리 자원을 요구한다. 따라서 환경음 분류에 딥러닝 모델을 적용하기 위해 강력한 컴퓨팅 자원을 가진 클라우드 서버에서 모델 추론을 수행하고 있다. 그러나 클라우드 서버에서 추론을 수행할 경우 네트워크 트래픽과 보안 문제가 발생할 수 있다. 게다가, 하나 이상의 소리가 중복되어 발생하는 실제 환경에서 한가지 클래스로만 분류할 수 있는 딥러닝 모델은 실제 응용에서 사용하기에는 어려움이 있다. 이러한 문제를 해결하기 위해 본 연구는 저비용으로 다양한 도시 소리를 분류할 수 있는 온-디바이스 기반의 실시간 도시 소리 모니터링 시스템을 제안한다. 제안한 시스템은 엣지 AI 노드와 FIWARE 기반 서버로 구성되어 있다. 제한된 자원을 가진 엣지 AI 노드에서 실시간 추론을 가능하게 하기 위해 경량 convolutional neural network를 개발하였다. 개발한 모델은 17개의 도시 소음 및 응급 상황 클래스를 포함한 통합 데이터셋에서 763K 개의 파라미터만 사용하여 85.5%의 다중 소음 분류 정확도를 달성하였다. 또한 제안한 시스템의 실제 적용 가능성을 확인하기 위해 약 USD 50으로 프로토타입을 개발하였다. 프로토타입에서 3초마다 소음 분류 결과를 확인할 수 있었고 FIWARE 기반 서버에서 Grafana를 사용하여 모니터링 결과를 실시간으로 시각화하였다.