Metin madenciliği ile dokümanlar arasındaki benzerliklerin bulunması

Abstract

Metin madenciliği, yapısal olmayan kaynaklar (metin, resim vb.) içinde çeşitli yöntemler kullanarak veriler arasında sınıflandırma ve benzerlik gibi işlemler yapan bir uygulama alanıdır. Bu tezde bahsedilen metin madenciliği ile dokümanlar arasındaki benzerliklerin bulunmasını (örüntü tarama) bir uygulama üzerinde anlatmak için masaüstü uygulaması geliştirilmiştir. Uygulama, yalnızca algoritmaların çalışma mantığını gösterecek şekilde basit yapı olarak değil gerçek uygulamalar yapabilecek kapsamlı bir şekilde oluşturulmuştur. Uygulamayı diğer tez uygulamalarından ayıran özelliği, yalnızca iki doküman arasında değil kullanıcının ihtiyacına göre n sayıda doküman arasındaki benzerliklerin karşılaştırılmasını yapılabilmesidir. Uygulamaya yüklenen bir doküman içerisinde bulunan her cümlenin diğer dokümanlar içerisinde bulunan tüm cümleler ile benzerlik hesaplaması yapılmaktadır. Yine uygulama, sonuç kısmında karşılaştırılan cümlelerin sayısal olarak sonuçlarını göstermekte, her karşılaştırılan dosyayı ve karşılaştırılan bütün cümlelerin tamamını sayısal sonuçları ile birlikte sonuç tablosunda göstermektedir. Bu sayede kullanıcının cümlelere bakarak hangi cümlelerin hangi algoritma için nasıl bir sonuç ürettiğinin görülmesi sağlanmıştır. Uygulama için en çok kullanılan metin madenciliği bezerlik hesaplama algoritmaları olan kosinüs (cosine) ve jaccard algoritmaları kullanıp başarıları test edilmiştir.

Text mining is a field of application that makes classification and comparison between data in unstructured sources (text, picture, etc.) by using several methods. A desktop application was developed to explain the details of this study with an example that shows the way of finding similarities between documents by using text mining. This application is not only a simple programme that shows working principle of algorithms, but also an extensive programme that can be applied on real applications. The discriminative ability of this application is that it can compare the similar parts of (n) number of documents according to the user’s need. Similarities between every sentence in a document that is installed into the programme and all sentences in other documents can be calculated. Additionally, this application shows all of the folders and sentences that are compared, with the numerical outcomes in the result part. In this way, the user can understand from the outcomes that what kind of sentences and what kind of algorithms may produce results like that. For the application, the most widely used algorithms; cosine and jaccard algorithms are used and their performance are tested.