A video surveillance system for detection of potentially dangerous events in underground railway stations

Abstract

Due to the excess number of security cameras in metro stations, security personnel cannot simultaneously monitor all of the cameras effectively. Therefore, they might miss some of the potentially dangerous events that require timely action. In this thesis, a video surveillance system, which automatically detects several potentially dangerous events, and generates warning messages for the security personnel is presented. The potentially dangerous events that are handled in this thesis consist of: safety line intrusion, proximity warning, fallen object detection, prohibited zone violation and open prohibited zone entry detection. Intrusion of the safety line along the tracks or an accidental fall on the tracks can cause lethal events if necessary precautions are not taken on time. Before the detection of the potentially dangerous events, it is important to detect the moving objects in the scene. For this purpose several state-of-the-art background estimation methods have been implemented and compared. Then moving objects are detected based on the estimated background. Another event that is informative is the state of the train, which can be either approaching, stopping, or leaving the station. For example, if the train has stopped, then detection of safety line intrusion is irrelevant, since passengers will be getting on and off the train. The layout of the cameras at the pilot station has an active role in the development of the algorithms. Video streams from four cameras in the station, which have different field of views have been used for different purposes. For example, the camera used for the detection of the prohibited zone violation is different from the camera that is used for detection of the safety line intrusion. The developed system has been tested on video data obtained from a pilot station in stanbul, where no such automatic video analysis system is currently being used. The experimental results are quite promising, and they have been verified by security personnel. The system can operate real-time and can be adjusted via a graphical user interface.Metro istasyonlarının güvenliğinin sağlanması için yerleştirilmiş kamera sayısının fazlalığından görevli personel tüm kameraları takip edememektedir. Bu nedenle acil müdahale gerektirebilecek olası tehlikeli birçok olayı kaçırabilmektedir. Bu tez çalışmasında olası tehlikeli durumların otomatik olarak algılanıp ilgili personele uyarı mesajı halinde döndürülmesini sağlayan ve bu olayları kötü sonuçlar doğurmadan önlemeyi sağlayacak bir sistem önerildi. Bu tez çalışmasında ele alınan olası tehlikeli durumlar şunlardır: güvenlik çizgisi ihlali, tren yaklaşım uyarısı, ray bölgesine düsen nesne, yasak bölge ihlalleri ve açık kalan yasak bölge girişi. Platform güvenlik çizgisi ihlali ve ray bölgesine yolcu düşmesi zamanında müdahale olmadığı takdirde ölümle sonuçlanabilecek olaylardır. Olası tehlikeli durumlar algılanmadan önce ortamdaki hareketli nesnelerin tespiti önem arz etmektedir. Bu nedenle gelişmiş arka plan kestirme yöntemleri uygulandı ve karşılaştırıldı. Sonrasında arka plan kestirimine göre hareketli nesneler tespit edildi. Olay tespiti için önemli olan bir diğer bilgide istasyona göre yaklaşma, durma ve ayrılma durumlarında olan trenin takibi. Örneğin tren duruyor iken yolcular trene girip çıktığından güvenlik çizgisi ihlali tespiti pasif hale getirilmektedir. Pilot istasyondaki kamera yerleşimleri algoritmaların geliştirilmesinde etkin rol oynamaktadır. Görüş alanları farklı olan dört kamera farklı amaçlar için kullanılmıştır. Örneğin yasak bölge ihlali tespiti için kullanılan kamera ile güvenlik çizgisi ihlali tespiti için kullanılan kamera farklı konumlardadır. Geliştirilen sistem İstanbul metrosunda bir pilot istasyondaki, herhangi bir otomatik video analiz sistemi kullanılmayan kameralardan alınan veriler ile test edildi. Elde edilen umut verici deneysel sonuçlar güvenlik personeli tarafından da doğrulandı. Sistem gerçek zamanlı çalışabilmekte ve grafik arayüzü ile konfigüre edilebilmektedir.