Ohjelmistotestauksen markkinatutkimus

Tutkimuksen tavoitteena oli selvittää ohjelmistotestauksen tarve ohjelmistoliiketoiminnan yrityksissä. Ensin tutkittiin ohjelmistotestauksen sekä markkinatutkimuksen teoriaa, kirjallisuuden ja lehtiartikkelien avulla. Markkinatutkimus toteutettiin kirjekyselynä. Erityistä huomiota kiinnitettiin testauksen ulkoistamiseen, yritysten haasteisiin sekä tarpeisiin liittyen ohjelmistokehitykseen ja –testaukseen. Ohjelmistotestauksen avulla saavutettava laatu on olennainen osa suomalaista ohjelmistoliiketoiminnan kilpailukykyä ja se on keino erottua edukseen muista ohjelmistotuotteista kilpailtaessa samoista asiakkaista kansainvälisillä markkinoilla. Markkinatutkimuksessa saatiin merkittäviä tuloksia ohjelmistotestausmarkkinoista, yritysten sisäisestä sekä ulkoisesta ohjelmistotestauksesta ja testaustyökalujen käytöstä. Tutkimuksissa selvisi, että yritysten suurimpana haasteena oli ohjelmistokehitys- ja testausprosessien kehittäminen. Tätä aihetta on Suomessa tutkinut Teknillinen korkeakoulusta SoberIT-yksikkö ja he ovat kehittäneet SEMS-ohjelmistotuotannon ohjausjärjestelmän pk-ohjelmistotuoteyrityksille. SoftaTest aikoo hyödyntää näitä tutkimustuloksia mm. perustamalla liiketoimintaan tähtäävän projektin vahvistamaan suomalaisten ohjelmistotuoteyritysten menestymistä markkinoilla.

Metsäteollisuusyrityksen tehdasjärjestelmän integrointi globaaliin tuotantoketjun hallintajärjestelmään

Tämän diplomityö käsittelee UPM-Kymmenen paperitoimialoilla käynnissä olevaa Chain 2000 –projektin toteutusta uuden markkinan integroinnin aikana SAP –toiminnanohjausjärjestelmään yhden paperitehtaan näkökulmasta. Koska tehdasjärjestelmän kaikkien osa-alueiden integraatio on erittäin vaativa ja pitkäkestoinen prosessi, keskittyy tämä työ yhden markkinan integraatioon. Tavoitteena on suunnitella, toteuttaa ja testata tässä integroinnissa tarvittavat järjestelmämuutokset ja kuvata integroinnissa käytettäviä työkaluja, toimintamalleja ja prosesseja. Samalla kerrotaan tämän vaativan projektin mukanaan tuomia ongelmia ja ratkaisuja yhden paperitehtaan kannalta. Työssä esitellään erilaisia keinoja ja työkaluja varsinkin IT -projektien hallinnointiin ja toteuttamiseen sekä käydään läpi ohjelmistotestaaminen, ERP -järjestelmät ja tietovarastot. Työ tuo esille miten haastavaa globaalin IT –projektin toteuttaminen on. Tarkastelun tuloksena huomataan, että standardityökalujen käyttö aiheuttaa ongelmia erikoistilanteissa ja väärä informaatio tuo yritykselle ylimääräisiä kustannuksia. Projektin myötä toimintojen toteutuksen painotus ja samalla vastuu tiedon oikeellisuudesta siirtyy jatkuvasti tehtaalle päin. Integraatiotestaamisesta ja tarvittavista muutoksista on diplomityön aikana selviydytty kiitettävästi, mutta täysi varmuus kaikkien integraatioon osallistuvien järjestelmien toimivuudesta saadaan vasta itse käyttöönotossa kesällä 2004. Ylläpito käyttöönoton jälkeen vaatii myös resursseja.

WWW-pohjaisen sovelluksen automatisoitu testaus ja sitä edistävät ohjelmointikäytännöt

Ohjelmistotestauksen avulla voidaan tarkastella sovelluksen vastaavuutta vaatimuksiin. Tavoitteena on löytää sovelluksesta virheitä, ja siten parantaa sovelluksen laatua. Sovelluksen laatu voidaan määritellä useilla mittareilla, kuten esimerkiksi testattavuudella. Tässä työssä tarkastellaan WWW-sovelluksen automatisoidun testauksen toteutusta, jossa käytetään apuna testauskehystä. Automatisoituun testaukseen kuuluu testitapausten suunnittelu sekä toteutus, joiden lopputuloksena on uudelleenajettavia testitapauksia. Testaus keskittyy sovelluksen toiminnallisuuteen ja jättää tietokantaan päivitettävien tietojen tarkastamisen tekemättä. Testaus suoritetaan ilman tarkempaa tietoa sovelluksen sisäisestä toiminnasta. Testattava sovellus on Mobilding-hankkeessa toteutettu WWW-sovellus, jonka avulla hallinnoidaan rakennuksen elementtejä. Työssä vertaillaan WWW-sovelluksen käyttöliittymän testaukseen soveltuvia testauskehyksiä, ja pyritään tuomaan esille niiden ominaispiirteitä. Työn tuloksena on uudelleensuoritettavia testitapahtumia. Lisäksi pohditaan ohjelmointikäytäntöjä, joilla voidaan edistää automatisoitua testausta. Ohjelmointikäytännöt perustuvat työn toteutuksen aikana havaittuihin ongelmiin.

Tietoliikenneanalysaattorin testausohjelmiston suunnittelu ja toteutus ICONIX-prosessin avulla

Matkapuhelinverkot kehittyvät jatkuvasti tarjoten asiakkailleen uusia palveluja ja nopeampia datayhteyksiä. Verkkojen eri protokollien testaamisessa käytetään apuna tietoliikenneanalysaattoreita, joiden avulla matkapuhelinverkkojen eri rajapinnoissa liikkuvaa informaatiota voidaan tutkia yksityiskohtaisesti. Tämän työn tarkoituksena oli suunnitella ja toteuttaa etämonitorointianalysaattorin testauksessa käytettävä testausohjelmisto ICONIX-prosessin avulla. Suunnitteluun katsottiin kuuluvan prosessiin mukaiset vaatimusmäärittelyn, analyysin ja alustavan suunnittelun sekä yksityiskohtaisen suunnittelun vaiheet. Toteutus muodostui vastaavasti ohjelmointityöstä ja yksikkötestauksesta. Työn tuloksena saatiin suunnittelun ja toteutuksen aikana syntyneet erilaiset kaaviot ja ohjelmakoodi. Lisäksi testausohjelmistoa käytettiin etämonitorointianalysaattorin toiminnallisuus- ja suorituskykytesteissä, joiden perusteella arvioitiin toteutetun testausohjelmiston toimivuutta. Testausohjelmiston todettiin sopivan etämonitorointianalysaattorin testaukseen, sillä niin toiminnallisuustestit kuin kuormitustestitkin saatiin suoritettua onnistuneesti toteutetun testausohjelmiston avulla. ICONIX-prosessin todettiin sopivan testausohjelmiston suunnitteluun, vaikka testausohjelmisto onkin toimintaperiaatteeltaan erilainen, kuin prosessia esittelevissä lähteissä esimerkkeinä käytetyt ohjelmistot. Eri suunnitteluvaiheisiin kului prosessiin tottumattomalta aikaa, mutta toisaalta laadittuja suunnitelmia ei tarvinnut enää toteutusvaiheen aikana muuttaa ja ohjelmointityö oli hyvin suoraviivaista.

PCI DSS -standardi ja sen vaatimukset kortinhaltijoiden tietojen suojaamiselle

Payment Card Industry Data Security Standard (PCI DSS) on korttiyhtiöiden kehittämä kansainvälinen tietoturvastandardi, jonka tarkoituksena on parantaa kortinhaltijoiden tietoja käsittelevien järjestelmien tietoturvaa. Standardissa määritellään vaatimukset tietojen turvalliselle tallennukselle ja käsittelylle, testaus- ja tarkastusmenetelmät sekä tarkastusvaatimukset ja tarkastuksia suorittavien tahojen sertifiointi. Standardi koskee kaikkia standardin hyväksyneiden maksukorttiyhtiöiden korttitietoja käsitteleviä tahoja. Standardin ylläpitämisestä ja kehittämisestä vastaa maksukorttiyhtiöiden perustama PCI Security Standards Council -toimielin. Syyskuussa 2006 toimielin julkaisi standardista version 1.1, joka on edelleen viimeisin versio. Tässä diplomityössä selvitettiin PCI DSS -standardin asettamat vaatimukset kortinhaltijoiden tietoja käsitteleville tahoille. Lisäksi tutkittiin mahdollisuuksia toteuttaa yksi standardin vaatimuksista, kortinhaltijoiden tietojen suojaaminen, esimerkkijärjestelmässä. Kyseinen järjestelmä on kehitetty IBM System i -palvelinympäristöön käyttäen RPG-ohjelmointikieltä.

A Co-Processor Approach for Efficient Java Execution in Embedded Systems

This thesis deals with a hardware accelerated Java virtual machine, named REALJava. The REALJava virtual machine is targeted for resource constrained embedded systems. The goal is to attain increased computational performance with reduced power consumption. While these objectives are often seen as trade-offs, in this context both of them can be attained simultaneously by using dedicated hardware. The target level of the computational performance of the REALJava virtual machine is initially set to be as fast as the currently available full custom ASIC Java processors. As a secondary goal all of the components of the virtual machine are designed so that the resulting system can be scaled to support multiple co-processor cores. The virtual machine is designed using the hardware/software co-design paradigm. The partitioning between the two domains is flexible, allowing customizations to the resulting system, for instance the floating point support can be omitted from the hardware in order to decrease the size of the co-processor core. The communication between the hardware and the software domains is encapsulated into modules. This allows the REALJava virtual machine to be easily integrated into any system, simply by redesigning the communication modules. Besides the virtual machine and the related co-processor architecture, several performance enhancing techniques are presented. These include techniques related to instruction folding, stack handling, method invocation, constant loading and control in time domain. The REALJava virtual machine is prototyped using three different FPGA platforms. The original pipeline structure is modified to suit the FPGA environment. The performance of the resulting Java virtual machine is evaluated against existing Java solutions in the embedded systems field. The results show that the goals are attained, both in terms of computational performance and power consumption. Especially the computational performance is evaluated thoroughly, and the results show that the REALJava is more than twice as fast as the fastest full custom ASIC Java processor. In addition to standard Java virtual machine benchmarks, several new Java applications are designed to both verify the results and broaden the spectrum of the tests.

Laadunhallinta ketterissä menetelmissä

Ketterät menetelmät ovat yleistymässä ohjelmistotuotannossa. Yleistyminen aiheuttaa paineita ohjelmistotestaukselle, koska ketteryyttä vaaditaan myös testaukselta. Ketterät menetelmät jakavat samat perusarvot ja periaatteet, mutta lähestymistavat niiden täyttämiseksi poikkeavat toisistaan. Tässä työssä tutkitaan tarkemmin Scrum-menetelmän vaikutuksia ohjelmistotestaukseen ja laadunhallintaan. Scrum-menetelmää verrataan myös eXtreme Programming-menetelmään.

Tilastollinen tutkimus ohjelmiston laatuun vaikuttavista tekijöistä

Tämä työ on tehty osana MASTO-tutkimushanketta, jonka tarkoituksena on kehittää ohjelmistotestauksen adaptiivinen referenssimalli. Työ toteutettiin tilastollisena tutkimuksena käyttäen survey-menetelmää. Tutkimuksessa haastateltiin 31 organisaatioyksikköä eri puolelta suomea, jotka tekevät keskikriittisiä sovelluksia. Tutkimuksen hypoteeseina oli laadun riippuvuus ohjelmistokehitysmenetelmästä, asiakkaan osallistumisesta, standardin toteutumisesta, asiakassuhteesta, liiketoimintasuuntautuneisuudesta, kriittisyydestä, luottamuksesta ja testauksen tasosta. Hypoteeseista etsittiin korrelaatiota laadun kanssa tekemällä korrelaatio ja regressioanalyysi. Lisäksi tutkimuksessa kartoitettiin minkälaisia ohjelmistokehitykseen liittyviä käytäntöjä, menetelmiä ja työkaluja organisaatioyksiköissä käytettiin, ongelmia ja parannusehdotuksia liittyen ohjelmistotestaukseen, merkittävimpiä tapoja asiakkaan vaikuttamiseksi ohjelmiston laatuun sekä suurimpia hyötyjä ja haittoja ohjelmistokehityksen tai testauksen ulkoistamisessa. Tutkimuksessa havaittiin, että laatu korreloi positiivisesti ja tilastollisesti merkitsevästi testauksen tason, standardin toteutumisen, asiakasosallistumisen suunnitteluvaiheessa sekä asiakasosallistumisen ohjaukseen kanssa, luottamuksen ja yhden asiakassuhteeseen liittyvän osakysymyksen kanssa. Regressioanalyysin perusteella muodostettiin regressioyhtälö, jossa laadun todettiin positiivisesti riippuvan standardin toteutumisesta, asiakasosallistumisesta suunnitteluvaiheessa sekä luottamuksesta.

Ohjelmistotestaus ja ketterät menetelmät

Tämän tutkimuksen tavoitteena on selvittää, miten erityyppisissä organisaatioissa ohjelmistotestaus on organisoitu, sekä mitä ongelmia ja etuja testauksen toimenpieteissä on käytännössä havaittu. Tutkimuksessa kiinnitetään huomiota myös testausresurssien määrään ja asiakkaan toimintaan ohjelmistokehitysprojekteissa. Tässä tutkimuksessa keskityttiin selvittämään ketterien menetelmien vaikutusta ohjelmistotestauksen toteuttamiseen, sekä miten ketterät menetelmät vaikuttavat asiakkaiden toimintaan ohjelmistokehitysprojekteissa. Tutkimus toteutettiin laadullisena tutkimuksena, jossa tutkimusmenetelmänä käytettiin aineistopohjaista menetelmää. Tutkimusaineisto on kerätty haastattelemalla 12 organisaatioyksikön edustajia. Tutkimuksessa havaittiin, että ketterien menetelmien käytöllä voidaan järjestää lisää aikaa ohjelmistotestauksen toteuttamiseen. Ketterissä menetelmissä testaus sidotaan kehitysprosessiin tiiviisti, jolloin testaustoimenpiteet tulee huomioida jo kehitystyön alkaessa. Tällainen lähtökohta tasaa testausresurssien tarvetta, koska testaustoimenpinteitä voidaan suorittaa projektin alusta lähtien. Ketterien menetelmien havaittiin vaikuttavan myös asiakkaan toimintaan. Ketteriä menetelmiä varten toimittajaorganisaation on lisättävä yhteistyön ja kommunikoinnin määrää asiakkaan kanssa. Lisäksi asiakkaalta vaaditaan jatkuvaa läsnäoloa sekä ymmärrystä ketterästä kehityksestä, jotta kehittäjät saavat jatkuvasti palautetta nopean ja joustavan kehityksen takaamiseksi.

Testausmenetelmien ja testauksen lähestymistapojen valintaperusteet kirjallisuudessa

Testaustapausten valitseminen on testauksessa tärkeää, koska kaikkia testaustapauksia ei voida testata aika- ja raharajoitteiden takia. Testaustapausten valintaan on paljon eri menetelmiä joista eniten esillä olevat ovat malleihin perustuva valinta, kombinaatiovalinta ja riskeihin perustuva valinta. Kaikkiin edellä mainittuihin menetelmiin testaustapaukset luodaan ohjelman spesifikaation perusteella. Malleihin perustuvassa menetelmässä käytetään hyväksi ohjelman toiminnasta olevia malleja, joista valitaan tärkeimmät testattavaksi. Kombinaatiotestauksessa testitapaukset on muodostettu ominaisuuspareina jolloin yhden parin testaamisesta päätellään kahden ominaisuuden toiminta. Kombinaatiotestaus on tehokas löytämään virheitä, jotka johtuvat yhdestä tai kahdesta tekijästä. Riskeihin perustuva testaus pyrkii arvioimaan ohjelman riskejä ja valitsemaan testitapaukset niiden perusteella. Kaikissa menetelmissä priorisointi on tärkeässä roolissa, jotta testauksesta saadaan riittävä luotettavuus ilman kustannusten nousua.

Test automation scheme for LTE core network element

Modern sophisticated telecommunication devices require even more and more comprehensive testing to ensure quality. The test case amount to ensure well enough coverage of testing has increased rapidly and this increased demand cannot be fulfilled anymore only by using manual testing. Also new agile development models require execution of all test cases with every iteration. This has lead manufactures to use test automation more than ever to achieve adequate testing coverage and quality. This thesis is separated into three parts. Evolution of cellular networks is presented at the beginning of the first part. Also software testing, test automation and the influence of development model for testing are examined in the first part. The second part describes a process which was used to implement test automation scheme for functional testing of LTE core network MME element. In implementation of the test automation scheme agile development models and Robot Framework test automation tool were used. In the third part two alternative models are presented for integrating this test automation scheme as part of a continuous integration process. As a result, the test automation scheme for functional testing was implemented. Almost all new functional level testing test cases can now be automated with this scheme. In addition, two models for integrating this scheme to be part of a wider continuous integration pipe were introduced. Also shift from usage of a traditional waterfall model to a new agile development based model in testing stated to be successful.

Suunnitelma ohjelmistotestauksen adaptiivisen referenssimallin arviointiin

The aim of this bachelor’s thesis is to make a plan for the assessment of the adaptive reference model of software testing, which is based on the ISO/IEC 29119 testing standard. The assessment is not carried out in the scope of this thesis, but later in the related MASTO project. The ISO/IEC 29119 testing standard and the ISO/IEC 15504 process assessment standard are explained and a literary review is done about problems in software testing practices. Based on this background information a plan for the assessment is made. The assessment plan assesses the reference model from two perspectives. First the capability of the testing process described by the reference model is assessed and then the practical usefulness of the model is assessed.

Käytännön ohjelmointi -kurssin kehittäminen

Tämän tutkimuksen tavoitteena on selvittää opintojensa alussa olevien yliopisto-opiskelijoiden vaikeimpina pitämät käytännön ohjelmoinnin aihealueet sekä koostaa luentomoniste käytettäväksi seuraavalla alkavalla Käytännön ohjelmointi -kurssilla. Tutkimusmetodina käytettiin konstruktiivista tutkimusmetodia, jossa tavoitteen spesifioinnin jälkeen implementoitiin luentomoniste koostamalla määriteltyjen aihekokonaisuuksien lähdemateriaalia yhtenäiseksi, luettavaksi kokonaisuudeksi. Yliopistoissa ei yleisesti opeteta ohjelmistojen testausta ennen syventäviä ohjelmistotekniikan kursseja, mikä on kuitenkin puute työelämän kannalta. Tässä työssä esitetään perusteluja käytännönläheisten aihekokonaisuuksien painottamiselle ohjelmointikursseilla jo yliopisto-opintojen alkuvaiheessa. Työssä käsitellään Käytännön ohjelmointi -kurssin kurssipalautetta, missä havaittiin opiskelijoiden pitävän kurssin hankalimpina aihealueina linkitettyä listaa, osoittimia, dynaamista muistinhallintaa, tietorakenteita ja versionhallintaa. Työn avulla on pyritty kehittämään käytännön ohjelmoinnin yliopisto-opetusta Lappeenrannan teknillisessä yliopistossa luentomateriaalin avulla, jossa on muun muassa teoriaa, keskeisiä opiskelijoiden tarvitsemia komentoja, www-linkkejä sekä ohjelmoinnin tyyliopas.

Suomenkielisen oppimateriaalin koostaminen ohjelmistotestauksen perusteita käsittelevälle kurssille

Ohjelmistotestauksen merkitys ja testausosaamisen tarve ovat lisääntyneet sen myötä, kun ohjelmistojen koko on kasvanut ja toteutus monimutkaistunut. Testaustaidot kehittyvät parhaiten käytännön kokemuksen kautta mutta testausosaamisen perusta ja edellytykset käytännön taitojen kehittymiselle rakentuvat testauksen keskeisten avainasioiden, näkökulmien ja käytäntöjen teoreettiseen tuntemukseen ja ammattisanaston hyvään hallintaan. Tässä raportissa kuvataan Lappeenrannan teknilliselle yliopistolle tehty työ, jonka tuloksena koostettiin suomenkielinen oppimateriaali uudelle, keväällä 2015 kurssitarjontaan lisätylle opintojaksolle Ohjelmistotestauksen perusteet.