ATS3-testausjärjestelmän evaluointi

Työ tehtiin Nokia Technology Platforms S60 Mobile Runtime-yksikölle. Työn tavoitteena oli evaluoida ATS3-testausjärjestelmä. ATS3-järjestelmällä voidaan automatisoida ohjelmistotestausta. Evaluoinnilla pyrittiin selvittämään voidaanko tuotekehitysvaiheessa oleva järjestelmä ottaa jo käyttöön vai vaatiiko se vielä lisäkehitystä. Työssä kerrotaan aluksi yleisesti ohjelmistotestauksesta. Siinä käydään läpi myös testausprosessin vaiheet sekä kerrotaan lyhyesti avuksi kehitetyistä työkaluista. Työssä kerrotaan myös ATS3-järjestelmän edeltäjien ominaisuuksista, sekä miten ne eroavat tarkastelun kohteena olevasta järjestelmästä. Varsinainen evaluointi alkoi tutustumalla ja asentamalla järjestelmä. Tämän jälkeen suoritettiin samat testit sekä ATS2.x-järjestelmässä että ATS3-järjestelmäss. Testauksen jälkeen analysoitiin testitulosten yhdenmukaisuuden perusteella, voidaanko siirtyä käyttömään ATS3-järjestelmää. Testitulokset olivat käytännässä yhdenmukaiset suoritettaessa testejä matkapuhelimessa, mutta emulaattoritestaus täytyi jättää väliin. Lukuisista yrityksistä sekä järjestelmän kehittäjän avusta huolimatta testejä ei onnistuttu suorittamaan ATS3-järjestelmän emulaattoriympäristössä. Näin ollen päädyttiin tulokseen, ettei järjestelmää voida ottaa vielä käytöön emulaattoritestauksessa, vaan se vaatii lisätutkimusta sekä perehtymistä järjestelmään.

This graduate study was carried out for Nokia Technology Platforms S60 Mobile Runtime unit. The aim of the graduate study was to evaluate the ATS3 testing system. The ATS3 testing system enables the automation of software testing. The primary purpose of the evaluation was to determine whether the system which is currently in a development phase is ready for implementation or if it requires further development. This study begins with an introduction to the basic principles of software testing. After that the testing process itself and the testing tools are presented. The features of earlier testing systems and their differences compared to the ATS3 testing system are described. The actual evaluation was started by getting familiar with the system and installing it to a PC. After that the same tests were executed in both the ATS2.x system and ATS3 system. After the testing was completed the test results were compared to each other and based on found similarities an analysis was made whether it would be possible to transfer to using the ATS3 testing system. The test results were practically similar when executing tests in a mobile device. However, emulator testing had to be skipped. Despite several attempts and guidance from the developer of the system, the tests could not be executed in the testing environment of the ATS3 testing system. The conclusion was that test system is not yet mature enough to be taken into use in emulator testing but further study and acquaintance with the system is needed.