Test automation scheme for LTE core network element

Modern sophisticated telecommunication devices require even more and more comprehensive testing to ensure quality. The test case amount to ensure well enough coverage of testing has increased rapidly and this increased demand cannot be fulfilled anymore only by using manual testing. Also new agile development models require execution of all test cases with every iteration. This has lead manufactures to use test automation more than ever to achieve adequate testing coverage and quality. This thesis is separated into three parts. Evolution of cellular networks is presented at the beginning of the first part. Also software testing, test automation and the influence of development model for testing are examined in the first part. The second part describes a process which was used to implement test automation scheme for functional testing of LTE core network MME element. In implementation of the test automation scheme agile development models and Robot Framework test automation tool were used. In the third part two alternative models are presented for integrating this test automation scheme as part of a continuous integration process. As a result, the test automation scheme for functional testing was implemented. Almost all new functional level testing test cases can now be automated with this scheme. In addition, two models for integrating this scheme to be part of a wider continuous integration pipe were introduced. Also shift from usage of a traditional waterfall model to a new agile development based model in testing stated to be successful.

Modernit kehittyneet tietoliikenneverkkolaitteet vaativat yhä enemmän ja kattavampaa testausta laadun varmistamiseksi. Kattavan testauksen tarvitsevat testitapaus määrät ovat nousseet huomattavasti ja manuaalisella testauksella tätä kasvanutta kysyntää ei pystytä enää tyydyttämään. Lisäksi uudet ketterät ohjelmistokehitysmenetelmät vaativat testien suorittamista jokaisen iteraatiokierroksen yhteydessä. Tämän takia laitevalmistajat ovat siirtyneet enenemissä määrin käyttämään testiautomaatiota riittävän kattavuuden ja laadun varmistamiseksi testauksessa. Diplomityö on jaettu kolmeen osaan. Ensimmäisessä osassa esitellään soluverkkojen evoluutiota ja tutkitaan ohjelmistotestausta ja sen automatisointia sekä erilaisten ohjelmistokehitysmenetelmien vaikutusta testaamiseen. Toisessa osassa kuvataan prosessia jolla rakennettiin automaattinen toiminnallisuustestaus järjestelmä LTE runkoverkon MME elementille. Testiautomaatiojärjestelmän kehityksessä käytettiin ketteriä ohjelmistokehitysmenetelmiä ja Robot Framework testiautomaatio-ohjelmistoa. Kolmannessa osassa esitellään kaksi vaihtoehtoista mallia tämän järjestelmän liittämiseksi jatkuvaan integraatiojärjestelmään. Työn tuloksena saatiin rakennettua automaattinen testaus järjestelmä. Lähes kaikki uudet toiminnallisuustestauksen testitapaukset voidaan automatisoida järjestelmän avulla. Lisäksi tehtiin kaksi vaihtoehtoista mallia järjestelmän integroimiseksi osaksi laajempaa jatkuvaa integrointi ympäristöä. Myös siirtyminen perinteisestä vesiputousmallista uuteen ketterän kehitysmenetelmän käyttöön testauksessa havaittiin onnistuneen.