과학의 힘으로 살펴본 범죄예방 엘리베이터 CSI

과학의 힘으로 살펴본 범죄예방 엘리베이터 CSI

 

 

 

최근 아파트, 원룸 등 공동주택 보급이 늘어남에 따라 엘리베이터 내 범죄 발생 위험이 급격히 증가하고 있지만 범죄가 발생하는 순간의 통제가 어려운데다 발생 후 증거 영상 분석 또한 실로 엄청난 시간과 노력을 필요로 한다. 그럼, 과학의 힘으로 개발되어지는 엘리베이터 CSI라면 어떨까?

글 김영수(한국승강기대학교 교수)

 

 

 

CSI 디지털포렌식

 

요즘 뉴스나 인터넷에서 엘리베이터 내에서의 폭행 소식을 듣거나 보게 되면 피해자가 받을 정신적 육체적인 고통을 공감하며, ‘왜 사전에 폭행사고를 막을 수가 없었나’ 하는 생각에 이른다. 두 자녀를 키우는 필자도 우리의 자녀가 엘리베이터를 고맙고 안전한 수직운송 수단으로 여길 수 있기를 바랄뿐이다. 그래서 엘리베이터 내의 폭행을 감지해서 엘리베이터 스스로가 관제운전을 수행하거나 경고방송이나 경고음으로 위험행동을 중단하도록 하고 원격으로 관할경찰서나 112에 자동 신고하는 범죄예방 엘리베이터 CSI가 앞으로 더욱 활발히 연구되어지리라 본다.

 

제리브룩하이머(JerryBruckheimer) 감독의 ‘CSI’라는 미국 드라마에서 보여지듯 지문, 혈흔, 발자국, 탄흔 등은 범죄의 실마리를 찾기 위한 매우 중요한 단서가 된다. 법의학을 지칭하던 포렌식(forensic)이라는 용어는 과거에는 의학 분야에 국한되었지만, 이제 ‘디지털포렌식’이라는 새로운 영역을 구축해 나가고 있다. 현재의 디지털포렌식은 증거의 수집, 보존, 분석, 문서화, 재판 과정에 증거로 제출하기까지의 모든 과정을 포함한다. 그리고 사용 용도에 따라 범행 입증에 필요한 증거를 획득하기 위해 디지털 매체에 기록되어 있는 데이터를 복구하거나 검색하는 ‘정보추출 포렌식’과 해킹 공격에 이용되는 백도어, 루트킷 등을 조사하여 침입자의 신원, 피해내용, 침입경로 등을 파악하는 ‘사고대응 포렌식’으로 나뉜다. 특히 디지털 포렌식 분야 중 방대한 영상데이터 내의 행위정의를 통한 분석방법에 관한 분야를 ‘영상 포렌식’으로 정의한다.

 

 

장면전환 검출, 컬러-X² 히스토그램의 차이 이용

 

장면전환 검출은 일반적인 장면전환검출 방법인 컬러-X² 히스토그램의 차이를 이용한다. 장면전환은 점진적인 장면전환과 급진적인 장면전환으로 나누어 볼 수 있다. 점진적인 장면전환은 화면밝기나 객체의 이동이 서서히 변화하는 영상에서 발생하는데 이런 경우 장면 전환의 경계를 설정하기 어렵고 검출 또한 쉽지 않다. 급진적인 장면전환은 뉴스 영상처럼 앵커화면과 기자의 보도 화면이 갑자기 바뀌는 것처럼 장면이 급작스럽게 전환되는 것을 말한다.

많은 개발자들은 급진적인 장면전환 검출을 위하여 슬라이딩윈도우 검출 방법을 이용하여 2-pass 알고리즘을 제안하고 고정평균값과 가변평균값을 이용하여 장면의 경계가 제대로 검출되었는지 확인하였다. 또한 멀티플 히스토그램(Multiple-histogram)을 사용하여 연속된 프레임에 대해 분할 블록을 생성한 후, ‘Otsu-Method’에 기반한 자동 임계값 설정을 통해 최적화된 임계값을 계산한다. 그리고 연속된 프레임의 임계값들 사이의 차를 계산하여 장면전환이 발생했는지 그렇지 않은지를 결정하였다. 히스토그램은 숏(Shot)의 경계를
찾아내는데 가장 일반적인 방법이다 그래서 숏의 경계를 찾아내기 위해 컬러히스토그램의 변화율을 사용하였다.

 

 

장면전환 검출의 방법

 

일반적으로 폭행 및 절도 등의 범죄행위는 매우 급격하게 장면 전환이 이루어진다. 즉, 주어진 임계값을 초과하는 첫 번째 프레임을 shot의 키 프레임으로 설정하는 것이다. 급진적인 장면 전환 검출을 수행하는 방법은 컬러-X² 히스토그램의 차이 값을 이용한다.

 

 

 

[식 1] 컬러-X² 히스토그램 방법은 컬러 히스토그램을 R·G·B 각각에 대하여 산출함으로써 영상의 컬러를 구성하는 요소들을 유동적으로 사용할 수 있다. 또한 히스토그램이 갖는 차이 값 강조 특징을 적용하여 보다 효율적으로 장면 전환을 검출할 수 있는 방법이다.

 

 

 

 

[식 1]에 곱한 세 개의 가중치는 영상을 RGB 컬러 모델에서 HSI 모델의 I(Intensity) 요소로 바꾸기 위한 값이다. 컬러-X² 히스토그램을 이용하여 폭행 장면을 검출하기 위해서는 적절한 임계값 설정이 필요하다. 임계값은 컬러-X² 히스토그램 차이 값에 적용하였을 때 장면 전환 검출 결과가 가장 만족스러운 값으로 설정하도록 한다.

제안된 컬러-X² 히스토그램을 이용한 장면 전환 검출 방법의 성능평가는 추출된 키 프레임 수와 추출 정확률을 측정하여 평가를 수행한다. 컬러-X² 히스토그램을 이용한 장면 전환 검출 성능을 평가하기 위하여 컬러 히스토그램, 컬러-X² 히스토그램 장면 전환 검출을 수행하여 분할된 숏들의 수, 즉 검출된 키 프레임의 수와 오류 프레임 수, 그리고 추출 정확률을 비교하여 측정한 결과를 평가한다.

 

 

 

 

 

성능평가 영상

 

성능평가 영상은 <표 1>의 엘리베이터 내에서 촬영한 20개의 범죄 모의영상 중 폭행 장면이 포함된 영상 3개를 택하여 2분 길이, 초당 1프레임으로 영상 데이터를 캡처하여 컬러 히스토그램, X² 히스토그램, 컬러-X² 히스토그램을 이용하여 장면전환 검출을 수행하였다. 그리고 이렇게 장면 전환 검출을 수행한 결과로써 검출된 키 프레임들의 수를 <표 2>와 같이 제시하였다. 검출된 키프레임 수는 실험 영상 데이터에서 추출한 총 키 프레임의 수를 말하고, 오류 프레임 수는 검출된 키 프레임에 포함된 오류 키 프레임의 수를 말한다. 그리고 추출 정확률은 검출된 키 프레임 수에서 오류 프레임 수를 뺀 프레임 수, 즉 정확히 추출한 프레임 수의 비율을 나타낸다.

컬러-X² 히스토그램을 이용한 장면전환 검출 방법은 검출된 프레임의 장면 전환의 정확도가 가장 높고 잘못 검출된 프레임의 수도 가장 적으며, 추출 정확률도 가장 높다.

 

 

 

 

 

 

[그림 3]은 폭행 장면을 추출하기 위한 특정 임계값을 이용해 폭행 장면을 추출하는 화면으로써 미리 촬영한 20개의 모의영상을 입력하여 영상별로 폭행 장면만을 검출할 수 있는 임계값을 찾는 화면이다. 같은 임계값으로 20개의 영상을 순차적으로 입력받아 장면 전환 검출을 수행하여 추출된 키 프레임의 수를 보여주고 추출된 키 프레임은 저장되고, 다음 임계값으로 다시 폭행 장면 검출을 수행한다. 폭행 장면만을 검출할 수 있는 임계값이 나오면 이를 통계적 임계값으로 지정한다. 만약 주어진 임계값으로 검출된 폭행 장면이 전체 폭행 장면 영상(8개) 중 80% 이상이면 폭행 장면 검출에서의 통계적 임계값 추출은 성공으로 간주한다.

 

 

 

폭행 감시에 관련한 엘리베이터 기술개발 현황

 

 

㈜H기술은 빌딩이나 아파트 엘리베이터의 내부 감시용인 CCTV카메라와 엘리베이터 제어시스템(CP)을 연동하여 엘리베이터 내 강도, 폭행 등 각종 사고를 방지해주는 첨단 엘리베이터 감시 장치를 개발했다. 엘리베이터 CCTV 화면 위에 엘리베이터의 진행방향과 현재 층, 시간, 운전모드, 도어상태 등을 동시에 표시해 사건 사고 시 정확한 정보를 외부에 전달해주고 경비실에서 간단한 제어가 가능한 영상 감시 장치이다.

‘H엘리베이터’의 디지털 방식 영상보안 시스템인 IP-DVS(Internet Protocol based Digital Video Security)도 있다. IP-DVS는 CCTV, DVR 및 엘리베이터 감시·제어 시스템을 한데 묶은 일명 올인원(All-In-One) 제품으로 초고속 네트워크를 활용, 기존 아날로그 방식의 영상보안 장비가 갖고 있던 영상품질, 설치, 확장성 등의 제약을 극복한 통합보안 시스템이다.

 

 

 

 

 

【참고문헌】
1. 엘리베이터 내의 폭행 추출을 위한 영상포렌식 시스템 구현, 신광성, 신성윤, 한국정보통신학회논문지(J. Korea Inst. Inf. Commun. Eng.) Vol. 18, No. 10 : 2427~2432 Oct. 2014
2. [네이버 지식백과] 컬러 히스토그램 [color histogram] (색채용어사전, 2007. 도서출판 예림)
3. http://ko.swewe.net (‘컬러 히스토그램’ 검색)