İçindekiler
1. Giriş
Son on yılda, özellikle Temsili Durum Transferi mimari stilini takip eden RESTful API'ler olmak üzere web API'lerinde büyük bir büyüme görülmüştür. Modern web servisleri, istemcilerin işlevselliğine erişmesi için rutin olarak REST API'leri sağlamakta ve çok sayıda otomatik test tekniği ve aracının geliştirilmesini teşvik etmektedir.
Bu çalışma, farklı ortamlarda ve farklı metriklerle değerlendirilmiş REST API test araçlarını karşılaştırma zorluğunu ele almaktadır. Hem akademik hem de uygulayıcı araçlarını sistematik olarak belirleyen, araç performansını etkileyen kod özelliklerini analiz eden, derinlemesine hata analizi yapan ve spesifik gelecek araştırma yönelimlerini tanımlayan ilk kapsamlı ampirik çalışmayı sunuyoruz.
10 Araç Değerlendirildi
Hem akademik hem de endüstri araçları dahil
20 Gerçek Dünya Servisi
Açık kaynaklı RESTful API'ler kıyaslama olarak
2 Temel Metrik
Kod kapsamı ve tespit edilen benzersiz hatalar
2. Metodoloji
2.1 Araç Seçimi
8 akademik araç ve 11 uygulayıcı aracı belirleyen kapsamlı bir literatür taraması gerçekleştirdik. Erişilebilirlik, dokümantasyon ve bakım durumu dahil olmak üzere seçim kriterlerini uyguladıktan sonra, kapsamlı değerlendirme için 10 son teknoloji araç seçtik.
2.2 Kıyaslama Servisleri
Kıyaslama setimiz, ilgili çalışmalardan ve GitHub aramalarından seçilen 20 RESTful servisten oluşmaktadır. Seçim kriterleri şunları içeriyordu:
- Java/Kotlin açık kaynak uygulaması
- OpenAPI spesifikasyonunun mevcudiyeti
- Harici kaynaklara minimal bağımlılık
- Gerçek dünya kullanımı ve karmaşıklığı
2.3 Değerlendirme Metrikleri
Araçları iki temel metrik kullanarak değerlendirdik:
- Kod Kapsamı: JaCoCo kullanılarak ölçülen satır kapsamı, dal kapsamı ve metot kapsamı
- Hata Tespiti: Tetiklenen benzersiz hatalar, tür ve önem derecesine göre kategorize edildi
3. Deneysel Sonuçlar
3.1 Kod Kapsamı Analizi
Sonuçlarımız, farklı araçların elde ettiği kod kapsamında önemli varyasyon olduğunu göstermektedir. En iyi performans gösteren araçlar %78'e varan satır kapsamı elde ederken, diğerleri %30'a ulaşmakta zorlandı. Kapsam, özellikle hata işleme kodları ve karmaşık iş mantığı için zorlayıcıydı.
Şekil 1: 10 test aracı arasında kod kapsamı karşılaştırması. Evrimsel algoritmalar ve sembolik yürütme kullanan araçlar, rastgele test yaklaşımlarını tutarlı olarak geride bıraktı.
3.2 Hata Tespiti
Araçlar, kıyaslama servisleri genelinde 247 benzersiz hata ortaya çıkardı. Hata türleri şunları içeriyordu:
- HTTP 500 Dahili Sunucu Hataları (%42)
- HTTP 400 Geçersiz İstek (%28)
- Null pointer istisnaları (%15)
- Kaynak sızıntıları (%8)
- Diğer istisnalar (%7)
3.3 Araç Karşılaştırması
Tüm metriklerde baskın olan tek bir araç bulunmadı. Araçlar farklı alanlarda mükemmelleşti:
- EvoMaster: En iyi genel kapsam
- RESTler: Durum bilgisi olan API testi için en etkili
- Schemathesis: Şema doğrulama için mükemmel
4. Teknik Analiz
4.1 Matematiksel Çerçeve
Test üretimi problemi bir optimizasyon problemi olarak formalize edilebilir. $T$ test senaryoları kümesi, $C$ kapsam kriteri ve $F$ hata kümesi olsun. Amaç şunu maksimize etmektir:
$$\max_{T} \left( \alpha \cdot \text{cov}(T, C) + \beta \cdot \sum_{f \in F} \mathbb{1}_{f \text{ detected by } T} \right)$$
burada $\alpha$ ve $\beta$ ağırlıklardır ve $\text{cov}(T, C)$, test paketi $T$'nin kapsam kriteri $C$'yi ne kadar iyi karşıladığını ölçer.
4.2 Algoritma Uygulaması
İşte REST API test üretimi için basitleştirilmiş bir sözde kod:
function generateTests(apiSpec, maxTime):
testSuite = initializeTestSuite()
population = initializePopulation(apiSpec)
while timeElapsed < maxTime:
for individual in population:
testCase = decodeIndividual(individual)
coverage, failures = executeTest(testCase, apiSpec)
fitness = calculateFitness(coverage, failures)
updateIndividualFitness(individual, fitness)
population = selectAndReproduce(population)
population = mutatePopulation(population, apiSpec)
testSuite.updateBestTests(population)
return testSuite.getBestTests()5. Gelecek Yönelimler
Bulgularımıza dayanarak, birkaç umut verici araştırma yönelimi belirledik:
- Hibrit Yaklaşımlar: Birden fazla test stratejisini birleştirme
- Makine Öğrenmesi: Umut verici test girdilerini tahmin etmek için ML kullanma
- Konteynerleştirme: Harici bağımlılıkların daha iyi ele alınması
- Güvenlik Testi: API güvenlik açığı tespitine genişletme
Orijinal Analiz
Bu ampirik çalışma, hem akademik hem de endüstriyel araçların ilk kapsamlı karşılaştırmasını sağlayarak REST API test araştırmasında önemli bir ilerlemeyi temsil etmektedir. Bulgular, önemli ilerleme kaydedilmiş olsa da, özellikle çeşitli API uygulamalarında tutarlı yüksek kod kapsamı elde etmede hala önemli bir iyileştirme alanı olduğunu ortaya koymaktadır.
Çalışmanın metodolojisi, CycleGAN makalesi (Zhu ve diğerleri, 2017) gibi temel çalışmalarda görülen titiz değerlendirme yaklaşımlarına benzer şekilde, yerleşik ampirik yazılım mühendisliği uygulamalarıyla uyumludur. Ancak, CycleGAN'ın görüntü çevirisine odaklanmasının aksine, bu çalışma durum bilgisi olan etkileşimler ve karmaşık veri bağımlılıkları dahil olmak üzere REST API testinin benzersiz zorluklarını ele almaktadır.
Bir temel içgörü, farklı test stratejileri arasındaki ödünleşimdir. Arama tabanlı yazılım testinde kullanılanlara benzer evrimsel algoritmalara dayanan araçlar, üstün kapsam gösterdi ancak daha fazla hesaplama kaynağı gerektirdi. Bu, IEEE Transactions on Software Engineering'deki sofistike test yaklaşımlarının kaynak yoğunluğu hakkındaki bulguları yankılamaktadır.
Hata analizi, mevcut araçların basit uygulama hatalarını tespit etmede özellikle etkili olduğunu ancak karmaşık iş mantığı hatalarıyla mücadelede zorlandığını ortaya koymaktadır. Bu sınırlama, ACM Computing Surveys'in otomatik test sınırlamaları analizinde (Barr ve diğerleri, 2015) tanımlanan, anlamsal anlayışın önemli bir engel olarak kaldığı zorlukları yansıtmaktadır.
İleriye bakıldığında, Google Research ve Microsoft Research'ten son çalışmalarda araştırıldığı gibi, test üretimi için büyük dil modellerinin entegrasyonu mevcut bazı sınırlamaları ele alabilir. Ancak, Stanford ve MIT'den araştırmacıların arXiv ön baskısında belirttiği gibi, bu tür yaklaşımların çeşitli API desenleri arasında genelleştiğinden emin olmak için dikkatli doğrulama gereklidir.
Çalışmanın standartlaştırılmış kıyaslama setleri oluşturmaya katkısı, bilgisayarlı görüdeki ImageNet etkisine benzer şekilde özellikle değerlidir. Ortak bir değerlendirme çerçevesi sağlayarak, bu çalışma daha anlamlı karşılaştırmaları mümkün kılmakta ve alandaki ilerlemeyi hızlandırmakta, potansiyel olarak hem akademik hem de endüstriyel ortamlardaki gelecek araç geliştirmeyi etkilemektedir.
6. Referanslar
- Kim, M., Xin, Q., Sinha, S., & Orso, A. (2022). Automated Test Generation for REST APIs: No Time to Rest Yet. In Proceedings of ISSTA '22.
- Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. In Proceedings of ICCV.
- Harman, M., & Jones, B. F. (2001). Search-based software engineering. Information and Software Technology.
- Barr, E. T., Harman, M., McMinn, P., Shahbaz, M., & Yoo, S. (2015). The Oracle Problem in Software Testing: A Survey. IEEE Transactions on Software Engineering.
- Martin-Lopez, A., Segura, S., & Ruiz-Cortés, A. (2021). RESTest: Black-Box Testing of RESTful Web APIs. In Proceedings of ICSOC.
- Atlidakis, V., Godefroid, P., & Polishchuk, M. (2019). RESTler: Stateful REST API Fuzzing. In Proceedings of ICSE.
- Arcuri, A. (2019). RESTful API Automated Test Case Generation with EvoMaster. ACM Transactions on Software Engineering and Methodology.