Cost-benefit analysis of using test automation in the development of embedded software

The goal of this thesis is to make a case study of test automation’s profitability in the development of embedded software in a real industrial setting. The cost-benefit analysis is done by considering the costs and benefits test automation causes to software development, before the software is released to customers. The potential benefits of test automation regarding software quality after customer release were not estimated. Test automation is a significant investment which often requires dedicated resources. When done accordingly, the investment in test automation can produce major cost savings by reducing the need for manual testing effort, especially if the software is developed with an agile development framework. It can reduce the cost of avoidable rework of software development, as test automation enables the detection of construction time defects in the earliest possible moment. Test automation also has many pitfalls such as test maintainability and testability of the software, and if those areas are neglected, the investment in test automation may become worthless or it may even produce negative results. The results of this thesis suggest that test automation is very profitable at the company under study.

Työn tavoitteena on tehdä case-tutkimus testiautomaation käytön kannattavuudesta sulautettujen järjestelmien ohjelmistokehityksessä. Työssä tehdään kustannus-hyötyanalyysi, jonka näkökulma on pääasiassa ohjelmistokehityksen sisäisissä näkökulmissa: millaisia kustannussäästöjä automaatiotestaaminen tuottaa ja mitkä ovat sen mahdolliset positiiviset vaikutukset ohjelmistokehitystyön edistymiseen. Työssä ei tarkastella testiautomaation mahdollisia positiivisia vaikutuksia ohjelmistojen laatuun. Testiautomaatio on merkittävä investointi, joka usein vaatii sen kehitykseen omistautuneita henkilöresursseja ja huomiota koko ohjelmistokehitysprojektin henkilökunnalta. Oikein toteutettuna testiautomaatiolla voidaan kuitenkin saavuttaa merkittäviä kustannussäästöjä, mitkä liittyvät manuaalisen testaamisen korvaamiseen automaatiolla, etenkin mikäli ohjelmistokehityksessä käytetään ns. ketteriä menetelmiä. Testiautomaatio voi myös merkittävästi vähentää aikaa vikojen korjaamisessa, koska testiautomaatio mahdollistaa niiden löytämisen mahdollisimman aikaisessa vaiheessa ohjelmistokehitystä. Tämän case-tutkimuksen lopputulos on, että testiautomaatio on edellä mainittujen hyötyjen ansiosta tarkasteltaavssa yrityksessä erittäin kannattavaa.