Derin Sinir Ağları Katmanlarının Seyrek İkinci Dereceden Konik Programlama İle Budanması

Abstract

Makine Öğreniminde seyrek problemler, hesaplama uyumlulukları ve yüksek tahmin performansları nedeniyle son yıllarda oldukça önem kazanmıştır. Seyrek öğrenme, biyoinformatikte gen ekspresyon profillerinde ana bileşenlerin seçilmesi, finans ve ekonomi gibi problemleri tahmin etmede regresyon tipi uygulamaların bağımsız değişkenlerinin önemli faktörlerinin belirlenmesi, elektronik mühendisliği problemlerinde sinyallerinin önemli faktörlerinin belirlenmesi gibi çeşitli uygulama alanlarında ortaya çıkar. Seyrek öğrenme problemlerinin matematiksel modelleri, dışbükey olmama problemine yol açan sıfır norm veya 1 norm ile ifade edilen kardinalite kısıtlamaları ile ilgilidir. Araştırmacılar bu konunun üstesinden gelmek için dışbükey olmama problemine literatürdeki Konveks Fonksiyonların Farkı, Yarı Kesinli Gevşemeler ve İkinci Dereceli Konik Programlama gibi farklı tekniklerle yaklaşmışlardır. Derin Öğrenme, literatürde ve endüstride, yazılım dünyasında sıklıkla kullanılan ve çoğu mühendislik problemlerinde, yapay zeka uygulamalarında üstün başarı gösteren algoritma olarak karşımıza çıkmaktadır. Bu üstün başarısına karşılık derin ağların mimarisi kapalı kutu olarak bilinmekte ve ağ derinlikleri ve büyüme oranı parametre olarak seçilmektedir. Bu hiper parametrelerin otomatik olarak matematik temelli bir optimizasyon modelle en uygun değerlerinin bulunması yüksek boyutlu verilerin Derin Öğrenme ile sınıflandırılmasında ihtiyaç duyulan bir eksikliktir. Bu projede literatürdeki ihtiyaca karşılık verecek Derin Sinir Ağlarının (DNN) katmanlarını seyrek ikinci dereceden konik programlama ile budayan matematiksel modelin geliştirilmesi amaçlanmıştır. Budama algoritmasının modellenmesinde dikkat edilecek önemli bir unsur rastgele oluşturulacak farklı derinliklerdeki ağların doğruluk performanslarının ve birbirleri arasında çeşitliliğin zengin olmasıdır. Fakat bu iki terim arasında bir ödünleşim mevcuttur, başka bir deyişle, doğruluk yüzdesi çok arttıkça çeşitlilikten ödün verilir. Bu projede geliştirilmiş olan matematiksel model bu ödünleşimin optimum düzeyde tutacak bir budama algoritmasıdır. Elde edilen DNN budama algoritması veri kitlesinden bağımsız olarak genelleştirilmiş bir model olarak çözülmüştür ve farklı alanlardaki veri kümelerinde uygulanarak başarı oranları farklı derinlikte ağ yapıları ile karşılaştırılmıştır. Önerilen bu yöntem veri ön işleme (data pre-processing) basamaklarından biri olan öznitelik seçimi (feature selection) problemine de uyarlanmış ve başarı sonuçları diğer öznitelik seçimi algoritmaları ile karşılaştırılmıştır. Önerilen projenin temel çıktıları, DNN ağ seçimi yaparak sınıflandırma problemini çözen ve öznitelik seçimi problemini de aynı temel fikir ile çözen yazılım ve Python kütüphanesi oluşturulmuştur.