İnsansız Hava Aracı Videolarında Çoklu Nesne Tespit Ve Takibi

Abstract

Bu projede bilgisayarla görü alanında nesne takip probleminin en önemli uygulama alanlarından birisi olan İnsansız Hava Araçlarından (İHA) alınan hava görüntülerinde yeryüzündeki araçların takibi üzerine çalışmalar yürütülmüştür. İHA görüntülerinde kameranın hareket etmesi, atmosferik şartlar ve bulut, bina gibi doğal engellerden kaynaklı ilave örtüşme nedenleriyle nesne takip probleminin zorluk derecesi yükselmektedir. Ayrıca nesnenin takibinde hem hareketli nesnelerin birbirleriyle etkileşiminden hem de diğer doğal engellerden kaynaklı örtüşme problemi üzerine literatürde yeterli çalışma bulunmamaktadır. Örtüşmenin tespiti ve derecesinin belirlenmesi, takip sırasında nesnelerin modellerinin güncellenmesi açısından önemlidir. Ancak nesnelerdeki görsel değişimin örtüşmeden veya diğer faktörlerden kaynaklı olduğunu anlamak zor bir problemdir. Ayrıca literatürde nesne takibi amaçlı birçok veri kümesi bulunmasına rağmen hava görüntüleri için kapsamlı bir veri tabanı bulunmamaktadır. İHA görüntülerinde nesne takibi problemindeki farklı aşamalarda özgün algoritmalar geliştirmeyi hedefleyen projede, kullanım senaryosu olarak karayollarındaki araçların tespit ve takip edilmesi seçilmiştir. Bu kapsamda İHA görüntüleri toplanması ve video çerçevelerinde araçların etiketlenerek veri kümesi oluşturulması, araç tespiti ve tespite-dayalı-takip için derin öğrenme tabanlı bir model geliştirilmesi ve araç takibinde derin görsel ve hareket özniteliklerin yanında, örtüşme probleminin çözümü için örtüşmenin öğrenilmesi yaklaşımının Parçacık Süzgeciyle birlikte kullanılması önerilmiştir. Projenin ilk aşamasında temin edilen drone ile video görüntüleri toplanmış ve araç etiketlemeleri yapılmıştır. Video görüntüleri 4K çözünürlükte alınmış, etiketlemeler araç sınıfları, araç sınırlı kutuları ve maskelerini içerecek şekilde yapılmıştır. Sanal ortamda araçların İHA bakış açısından elde edilen videolar yaratılarak optik akış, araç bölütleri ve örtüşmelerinin etiketlendiği sentetik İHA veri kümesi oluşturulmuştur. Otomatik olarak optik akış ve örtüşme veri kümesi çıkarabilen özgün bir algoritma geliştirilmiştir. Video görüntülerinde araç tespiti için literatürdeki yaklaşımlar arasından İHA görüntüleri için en uygun olanı farklı veri kümelerinde yapılan deneylerle belirlenmiştir. Tespit-ile-takip probleminde derin öğrenme ve parçacık filtre yaklaşımlarını birlikte kullanarak yeni bir uçtan uca yaklaşım geliştirilmiştir. Derin Evrişimsel Yapay Sinir Ağları (DEYSA) nesne tespitinde ve tespit-ile-takip yaklaşımında ana mimari olarak kullanılmıştır. Nesne takip algoritmasının Yardımcı Parçacık Süzgeci yöntemiyle matematiksel ilişkisi incelenmiş ve her iki yöntem deneysel olarak karşılaştırılmıştır. Örtüşmenin olup olmadığı, örtüşme derecesi ve dereceye bağlı olarak nesne modellerinin güncelleme şekli Örtüşme Karar Mekanizması tarafından hesaplanmıştır. Ayrıca Parçacık Süzgeci yaklaşımıyla nesnelerin hareket parametreleri tahmin edilerek nisbi hareketleri dikkate alınmıştır. Çoklu Araç takibi için literatürdeki algoritmalar incelenmiş proje kapsamında üretilen gerçek dünya veri kümesi üzerinde performans testleri yapılmıştır. Projede literatüre 5 farklı katkı sağlandığı değerlendirilmektedir. 1. Nesne tespit ve takibi için 4K araç sınırlı kutu ve araç maskeleri etiketlenmiş özgün bir İHA görüntü veri tabanı Natural UAV (N-UAV) kazandırılmıştır. 2. Synthetic-UAV (S-UAV) adında, sınırlı kutu, maske, optik akış ve örtüşme veri kümelerine sahip yeni bir sentetik İHA veri kümesi üretilmiştir. 3. Derin öğrenme ile parçacık filtre yaklaşımlarını birlikte kullanan tespit-ile-takip algoritması (PFCNN) geliştirilmiştir. 4. Tespit-ile-takip algoritmasıyla Yardımcı Parçacık Süzgeci yöntemiyle matematiksel ilişkisi incelenmiş ve iki yöntem nesne takibi açısından karşılaştırılmıştır. 5. Nesne takibinde örtüşme karar mekanizması için optik akış, örtüşme ve bölütleme tespiti yapabilen özgün bir DEYSA modeli geliştirilmiştir.