Performance evaluations of cloud computing platforms

Abstract

There are many different types of cloud computing offers in the information technologies market. This study deals with the performance evaluations of three public “platform as a service” solutions offered by different companies. Cloud Foundry, Heroku, and OpenShift are the selected platforms for comparison. The market researches show that the cloud computing services will be one of the most demanded services that companies will look for in near future. Thus, companies will want to know which solution is good at which function. Similar to the other solutions, there is no silver bullet in cloud computing. Hence, the comparison must be based on the common things and those things should be the most used or needed resources. Therefore, computing power, database operations, and the main memory bandwidth are tested and compared in this study. The test results show that each platform performs differently in each of the area tested. A provider may be the best in one of the functions or sub functions of the performance criteria; however, it may be worse or the worst in another. This thesis proposes the most critical functions and sub functions for a PaaS solution. It also proposes a suitable set of benchmarking algorithms and suggests the best provider based on the test results by using two different decision making methods, and by taking the needs of the customer into account. Since the evaluation is based on the performance, the fees are not compared and not considered as a criterion. Similarly, other factors, like user friendliness, supported add-ons and services are nice to have; nevertheless, they are not the basic and common drivers of company needs in general. The performance results of the three platforms are compared to each other by using Analytic Hierarchy Process (AHP) and Logic Scoring of Preference (LSP). Four different scenarios are presented and the evaluation results and rankings of AHP and LSP are provided for each.

Bilgi teknolojileri piyasasında çok çeşitli bulut bilişim çözümleri sunulmaktadır. Bu çalışma, üç farklı firmanın sunduğu genel kullanıma açık üç farklı “Hizmet olarak Platform” çözümünün performans değerlendirmesi üzerinedir. Bu performans değerlendirmesi için seçilen platformlar, Cloud Foundry, Heroku ve OpenShift platformlarıdır. Piyasa araştırmaları göstermektedir ki, bulut bilişim hizmetleri çok yakın bir gelecekte, firmaların en çok talep edeceği bilişim hizmetlerinden birisi olacaktır. Bu sebeple bu hizmeti almak isteyen müşteriler, hangi çözümün hangi konuda daha iyi olduğunu bilmek isteyeceklerdir. Diğer çözümlerde olduğu gibi, bulut bilişimde de her konuda en iyi olan bir çözüm bulunmamaktadır. Bu sebeple karşılaştırma, bazı ortak işlevler üzerinde yapılmalı ve bu ortak işlevler de en çok ihtiyaç duyulan ya da kullanılan işlevler olmalıdır. Bundan dolayı bu çalışmada, işlem gücü, veri tabanı işlemleri ve ana hafıza bant genişliği işlevleri test edilmiş ve birbirleriyle kıyaslanmıştır. Test sonuçları göstermiştir ki her platform, test edilen her işlevde aynı performansı gösterememektedir. Bir platform, ana işlevlerden veya alt işlevlerden birinde en iyi olabilirken başka bir işlevde en iyi olamamakta hatta en kötü performansı gösterebilmektedir. Bu tez çalışması, “Hizmet olarak Platform” çözümleri çerçevesinde belirli işlevleri ve bunların alt işlevlerini en kritik özellikler olarak sunmaktadır. Ek olarak bu özelliklerin ölçülebilmesi için uygun kıyaslama algoritmalarından oluşan bir set ile birlikte, farklı ihtiyaçları da göz önünde tutabilen iki farklı karar verme metodu kullanmak suretiyle en iyi platformu önermektedir. Bu çalışmadaki temel değerlendirme performans odaklı olduğu için firmaların hizmet ücretleri değerlendirmeye dahil edilmemiştir. Benzer şekilde, kullanıcı dostu olup olmadığı, sahip olduğu eklenti veya desteklediği servisler de, genel anlamda bu servislerden faydalanacak firmaların temel ve ortak ihtiyaçları olmasından ziyade, “olsa iyi olur” özellikler olarak görülmüş ve değerlendirmeye dahil edilmemiştir. Üç servis için de performans sonuçları, Analitik Hiyerarşi Süreci (AHP) ve Tercihlerin Mantıksal Puanlaması (LSP) metotları kullanılarak karşılaştırılmıştır. Dört farklı senaryo önerilmiş ve her biri için AHP ve LSP ile elde edilen sonuç ve sıralamalar sunulmuştur.