본 논문에서는 비디오 서베일런스 환경에서 휴먼 객체들간의 상호 행동 자동 분석 및 인식을 위한 확률 모델링 프레임워크를 제안한다. 휴먼 객체들 간의 복잡한 상호 행동은 ‘부-상호 행동’이라는 의미 있는 작은 단위의 상호 행동들의 연속으로 표현될 수 있음을 기본 가정으로 한다. 시공간적 특성을 이용하여 각각의 부-상호 행동들은 동적 확률 모델로 표현하며, 특징 벡터에서 독립적 요소들의 분리를 통한 개선된 Factorial 은닉 마르코프 모델 (MFHMM)을 제안한다. 또한 부-상호 행동의 연속으로 표현되는 복잡한 상호 행동들을 동적 확률 모델들의 네트워크로 표현함으로써 보다 강인한 휴먼 상호 행동 분석 모델을 구성한다. Tsinghua University 데이터 셋 및 자체 제작한 데이터베이스를 이용한 실험에서의 인식 성능 및 모델의 구조적 분석을 통하여 제안하동적 확률 네트워크 모델의 효용성과 유효성을 보인다.In this paper, we propose a novel probabilistic modeling framework for automatic analysis and understanding of human interactions in visual surveillance tasks. Our principal assumption is that an interaction episode is composed of meaningful small unit interactions, which we call ‘sub-interactions.’ We model each sub-interaction by a dynamic probabilistic model using spatio-temporal characteristics and propose a Modified Factorial Hidden Markov Model (MFHMM) with factored observations. The complete interaction is represented with a network of Dynamic Probabilistic Models (DPMs) by an ordered concatenation of sub-interaction models. The rationale for this approach is that it is more effective in utilizing common components, i.e., sub-interaction models, to describe complex interaction patterns. We demonstrate the feasibility and effectiveness of the proposed method by analyzing the structure of network of DPMs and its success on two different databases: a self-collected dataset and Tsinghua University’s dataset.