현대에는 각종 사건 사고의 잦은 발생으로 인해 영상 처리 시스템의 수요는 날로 증가하고 있다. TLD (Tracking-Learning-Detection) 프레임워크는 현재 객체의 검출과 추적에 사용되는 알고리즘으로 객체의 추적, 검출 및 학습을 실시간으로 수행하는 알고리즘이다. 본 논문에서는 TLD프레임워크를 기반으로 학습 단계에서 H-CNN(Hippocampus - Convolution Neural Network) 모델링 기법을 제안한다. 먼저 입력 영상에서 Ferns알고리즘과 Optical flow 알고리즘을 이용하여 관심객체를 검출 및 추적한다. 그 후 기존의 learning 영역의 학습단계에 다층신경망 학습 알고리즘을 적용한다. 제안하는 알고리즘을 사용하여 학습시킨 신경망과 기존 알고리즘의 신경망의 성능을 비교하여 제안하는 학습 알고리즘의 향상된 성능을 증명하였다.In recent years, demand for image processing systems has been increasing day by day due to frequent occurrence of various incidents. The Tracking-Learning-Detection (TLD) framework is an algorithm that is used for object detection and tracking. It is an algorithm that performs tracking, detection, and learning of objects in real time. In this paper, we propose H-CNN (Hippocampus-Convolution Neural Network) modeling method based on TLD framework. First, the object of interest is detected and tracked using the Ferns algorithm and the optical flow algorithm in the input image. Then, we apply a multi-layer neural network learning algorithm to the learning stage of the existing learning area. We compare the performance of the proposed neural network with that of the conventional neural network. Therefore, we prove the improved performance of the proposed learning algorithm.