Cost-benefit analysis of using test automation in the development of embedded software

The goal of this thesis is to make a case study of test automation’s profitability in the development of embedded software in a real industrial setting. The cost-benefit analysis is done by considering the costs and benefits test automation causes to software development, before the software is released to customers. The potential benefits of test automation regarding software quality after customer release were not estimated. Test automation is a significant investment which often requires dedicated resources. When done accordingly, the investment in test automation can produce major cost savings by reducing the need for manual testing effort, especially if the software is developed with an agile development framework. It can reduce the cost of avoidable rework of software development, as test automation enables the detection of construction time defects in the earliest possible moment. Test automation also has many pitfalls such as test maintainability and testability of the software, and if those areas are neglected, the investment in test automation may become worthless or it may even produce negative results. The results of this thesis suggest that test automation is very profitable at the company under study.

Testing of Vacuum Drum Filter

Tämän diplomityön tavoitteena oli testata ja optimoida erään alipainerumpusuodattimen toimivuutta, ja lisäksi maksimoida tuottavuus ja vertailla erilaisten pesumenetelmientehokkuutta. Testilietteiden ¿ rautarikasteen ja täyteainepastan ¿ karakterisointi oli myös tärkeää. Kirjallisuusosassa tarkasteltiin lyhyesti neste-kiintoaine-erotuksen teoriaa, erityisesti alipainesuodatusta ja alipainerumpusuodattimia. Lisäksi käsiteltiin kapillaarisuodatuksen toimintaperiaatteita sekä selvitettiin kaivosteollisuuden veden talteenottokeinoja, kiintoainejäämien käsittelymenetelmiä ja Chilen kaivosteollisuuden nykytilaa. Työn kokeellinen osa suoritettiin käyttämällä raskaita ja kiintoainepitoisuuksiltaan korkeita lietteitä, eli rautarikastetta ja täyteainepastaa. Kokeet suoritettiin erityisellä alipainerumpusuodattimella, joka oli muokattu perinteisestäpäältä syötettävästä alipainerumpusuodattimesta. Kokeissa tutkittiin pyörimisnopeuden ja erilaisten pesumenetelmien vaikutusta kakun kosteuteen ja suodatuskapasiteettiin. Koelietteiden karakterisointi suoritettiin analysoimalla partikkelikokojakauma, kiintoainepitoisuus, metallipitoisuus ja koostumus. Kokeiden perusteella havaittiin, että rummun pyörimisnopeudella ja lietteen kiintoainepitoisuudella on merkittävä vaikutus suodatuskapasiteettiin ja kakun kosteuspitoisuuteen. Havaittiin myös, että kakun kosteuspitoisuuksissa ja rummun suodatuskapasiteeteissa oli eroja, kun verrattiin eri suodatinväliaineen pesumenetelmiä. Täten oikean pesumenetelmän valinta on tärkeää, ja sillä pystytään lisäämään suodatinväliaineen käyttöikää.

Test automation in Basic Acceptance Testing of S60 platform

Perushyväksymistestaus on oleellinen osa S60 alustan julkaisukandidaatin maturiteetin seurannassa. Perushyväksymistestausta tehdään myös ohjelmiston julkistamiskelpoisuuden varmistamiseksi. Testaustulokset halutaan aina mahdollisimman nopeasti. Lisäksi testaustiimin työmäärä on hiljalleen kasvanut, koska projekteja onenemmän ja korjauksia sisältäviä ja räätälöityjä settejä testataan enemmän. Tässä diplomityössä tutkitaan lyhentäisikö testisetin osan automatisointi testien ajoaikaa ja helpottaisiko se testaajien työtaakkaa. Tarkastelu toteutetaan automatisoimalla osa testisetistä ja kokemuksia esitellään tässä lopputyössä.

Testing of Access Network's Internet Protocol Television Features

Testaus on tänä päivänä olennainen osa tuotekehitysprosessia koko tuotteen elinkaaren ajan, myös tietoliikennetekniikassa. Tietoverkoille asetetut tiukat vaatimukset ympärivuorokautisen toimivuuden suhteen nostavatmyös niiden testauksen tason ja laadun merkitystä. Erityisesti verkkojen uudet toiminnallisuudet, joilla ei ole vielä vuosia kestäneen käytön ja kehityksen tuomaa varmuus- ja laatutasoa, tuovat haasteita testauksen toteutukselle. Televisiokuvan välityksen Internetin yli mahdollistavat ominaisuudet ovat esimerkki tällaisista toiminnallisuuksista. Tässä diplomityössä käsitellään Tellabs Oy:n tuotekehitysosastolla vuosina 2005 ja 2006 toteutetun, erään operaattorin laajakaistaliityntäverkon päivitysprojektin testausosuutta. Kattavamman tarkastelun kohteena ovat erityisesti verkkoon lisättyjen laajakaistatelevisio- eli IPTV-toiminnallisuuksien integraatio- ja systeemitestausmenetelmät.

Design, implementation and testing of DVB/MHP-application development environment

Tämä diplomityö esittelee 1.6. - 4.11.2002 Mikkelin ammattikorkeakoulun YTI-tutkimuskeskuksen Informaatio- ja mediateknologian hankekokonaisuuden STRIMT-projektin puitteissa tekemäni MHP-kehitysjärjestelmähankinnan tuloksia. Digitaalitelevision MHP-sovelluskehitysjärjestelmän hankinnan tulosten lisäksi työ antaa yleiskuvan MHP-sovelluskehitystyökaluista, digitaalitelevisiostandardeista sekä digitaalitelevisioverkkojen yhteistoimintamalleista televerkkojen kanssa. Keräämieni tietojen, tekemäni tarvemäärittelyn ja suorittamani tuotevertailun perusteella valitsin tarpeisiimme sopivimmaksi järjestelmäksi Alticast Inc.-yrityksen Altifusion-tuotteen. Tuotteen valinnassa otin huomioon myös mahdolliset tulevaisuuden tarpeet aina täysimittaista lähetysjärjestelmää varten kehittämällä vaiheittaisen hankintasuunnitelman. Järjestelmää hankittaessa tärkeintä on huomioida heti alusta alkaen mahdolliset tulevat tarpeet ja varmistaa hankinnan hyödynnettävyys myös tulevaisuudessa. Järjestelmän hankinnan lisäksi vastasin sen käyttöönotosta ja järjestelmää hyödyntävän testisovelluksen laatimisesta.

TTCN testing of WCDMA base station operation and maintenance software

TTCN-kieltä käytetään testitapausten määrittelemiseen tietoliikennejärjestelmissä. Nykyään TTCN:stä on tullut yhä suositumpi tapa toteuttaa testitapauksia. TTCN tarjoaa hyvän ja yksinkertaisen tavan muuntaa käsin testattavat testitapaukset automatisoiduiksi. Tämän diplomityön yhteydessä toteutettiin TTCN testitapaukset WCDMA -tukiaseman käyttö- ja kunnossapito- (O&M) ohjelmistolle. Ohjelmistoa on käytetty myös toisen sukupolven tukiasemissa, mutta kolmannen sukupolven tukiasemissa sillä on huomattavasti isompi rooli. WCDMA -tukiasemassa O&M käsittelee muun muassa tukiaseman käynnistyksen, virhetilanteet ja valvoo tukiaseman komponentteja. Ensimmäisiä tehtäviä diplomityötä tehdessä oli valita ne testitapaukset, jotka olisivat mahdollisia ja hyödyllisiä toteuttaa TTCN:n avulla. Testitapaukset valittiin valmiina olleista testitapausten kuvauksista. Valitut testitapaukset toteutettiin käyttäen rinnakkaista ja modulaarista TTCN-kieltä ja testattiin WCDMA -tukiasemaa vasten käyttäen TTCN Tester ohjelmistoa. Tämän diplomityön yhteydessä toteutettuja testitapauksia käytetään varmistamaan, että tukiasema voi toipua erilaisista virhetilanteista O&M ohjelmiston avulla. Testitapauksia WCDMA -tukiasemaa vasten ajettaessa varmistetaan myös, että O&M ohjelmisto toimii määrittelyn mukaisesti eri tilanteissa. Toteutetut testi tapaukset korvaavat nykyään käsin testatut O&M testi tapaukset tukiaseman O&M ohjelmistoa testatessa. Automatisoidut testi tapaukset tekevät O&M ohjelmiston testaamisen merkittävästi nopeammaksi ja helpommaksi.

Subsystem Testing of Message Guided State Machines Using a Simulator Framework

Simulaattorit ovat yksinkertaistettuja malleja tietyistä järjestelmän osioista. Niitä käytetään mallintamaan testattavan osion ympärillä olevien muiden osioiden ulkoista toimintaa, jotta testattavalle osiolle saadaan oikeanlainen toimintaympäristö aikaiseksi. Tilakoneita käytetään mallintamaan ohjelmistojen tai niiden osien toimintaa. Sanomaohjatuissa tilakoneissa tilojen vaihdot perustuvat saapuviin sanomiin. Tässä työssä esitellään erään ohjelmiston alijärjestelmän testaamisessa käytettävä arkkitehtuuri, joka perustuu suurelta osin simulaattoreiden käyttöön muiden alijärjestelmien mallintamisessa. Testattava ohjelmisto koostuu enimmäkseen tilakoneista, jotka vaihtavat keskenään sanomia ja ohjaavat näin toistensa tilasiirtymiä. Työn testausympäristö on suunniteltu juuri tämänkaltaisen ohjelmiston testaamiseen. Työssä esiteltävää testausympäristöä myöskin käytettiin useamman kuukauden ajan ja se todettiin toimivaksi. Joitakin testausympäristön käyttöohjeita, käyttökokemuksia sekä siihen liittyviä parannusehdotuksia käydään läpi työn loppuosassa. Erityisesti havaittiin miten tärkeää on testata implementaatiota jo luokka tasolla ennen alijärjestelmä tason testaukseen siirtymistä sekä päädyttiin siihen, että suunnitteluvaiheen pitäisi olla lähemmin liitoksissa alijärjestelmätestaukseen.

Load and Performance Testing of Web Applications on Service Based Environments

Suorituskyky- ja kuormitustestien tekeminen sovelluksille on erittäin tärkeä osa tuotantoprosessia nykypäivänä. Myös Web-sovelluksia testataan yhä enemmän. Tarve suorituskyky- ja kuormitustestien tekemiselle on selvä. Testattavan ympäristön tämänhetkinen, mutta myös tulevaisuuden toimivuus taataan oikein tehdyillä testeillä ja niitä seuraavilla korjaustoimenpiteillä. Suurten käyttäjämäärien testaaminen manuaalisesti on kuitenkin hyvin vaikeaa. Sirpaleisen ympäristön, kuten palveluihin perustuvien Web-sovellusympäristöjen testaaminen on haaste. Tämän työn aiheena on arvioida työkaluja ja menetelmiä, joilla raskaita teollisia Web-sovelluksia voidaan testata. Tavoitteena on löytää testausmenetelmiä, joilla voidaan luotettavasti simuloida suuria käyttäjämääriä. Tavoitteena on myös arvioida erilaisten yhteyksien ja protokollien vaikutusta Web-sovelluksen suorituskykyyn.

Design and Testing of Database Libraries

Nokia Push To Talk järjestelmä tarjoaa uuden kommunikointimetodin tavallisen puhelun oheen. Yksi tärkeimmistä uuden järjestelmän ominaisuuksista on puhelunmuodostuksen nopeus. Lisäksi järjestelmän tulee olla telekommunikaatiojärjestelmien yleisten periaatteiden mukainen, mahdollisimman stabiili ja skaalautuva, jotta järjestelmä olisi mahdollisimman vikasietoinen ja laajennettavissa. Diplomityön päätavoite on esitellä "C++"-tietokantakirjastojen suunnittelua ja testausta. Aluksi tutkitaan tietokantajärjestelmien problematiikkaa alkaen tietokantajärjestelmän valinnasta ja huomioiden erityisesti nopeuskriteerit. Sitten esitellään kaksi teknistä toteutusta kahta "C++"-tietokantakirjastoa varten ja pohditaan joitakin vaihtoehtoisia toteutustapoja.

Methods of Design and Testing of Real Time Systems

Teollusuussovelluksissa vaaditaan nykyisin yhä useammin reaaliaikaista tiedon käsittelyä. Luotettavuus on yksi tärkeimmistä reaaliaikaiseen tiedonkäsittelyyn kykenevän järjestelmän ominaisuuksista. Sen saavuttamiseksi on sekä laitteisto, että ohjelmisto testattava. Tämän työn päätavoitteena on laitteiston testaaminen ja laitteiston testattavuus, koska luotettava laitteistoalusta on perusta tulevaisuuden reaaliaikajärjestelmille. Diplomityössä esitetään digitaaliseen signaalinkäsittelyyn soveltuvan prosessorikortin suunnittelu. Prosessorikortti on tarkoitettu sähkökoneiden ennakoivaa kunnonvalvontaa varten. Uusimmat DFT (Desing for Testability) menetelmät esitellään ja niitä sovelletaan prosessorikortin sunnittelussa yhdessä vanhempien menetelmien kanssa. Kokemukset ja huomiot menetelmien soveltuvuudesta raportoidaan työn lopussa. Työn tavoitteena on kehittää osakomponentti web -pohjaiseen valvontajärjestelmään, jota on kehitetty Sähkötekniikan osastolla Lappeenrannan teknillisellä korkeakoululla.

Applying TTCN to testing of Mobile IP

Diplomityö käsittelee ISO:n yhdenmukaisuustestin menetelmien sekä ISO-9646:n kehysten soveltamista Mobile IPv6 protokollan testauksessa. Mobile IPv6 protokollaa tarkastellaan määrittelyjen pohjalta, myös testien tärkeyttä ja tulosten johtamista käsitellään. Työssä käsitellän MSC:n (Message Sequence Charts) käyttöä testaustyössä mahdolliset edut huomioiden. TTCN kieli, testausmenetelmät ja OpenTTCN testauskone käsitellään. Testin kohteena olevien yhdyskäytävän ja palvelimen määrittelyt kuvataan. Osia abstract test suite :sta (ATS) esitellään esimerkin antamiseksi todellisesta sovelluksesta ja sen yhteydestä tehtyyn dokumenttiin.

Conceptual Design of Embedded Weather Display

The objective of this thesis work is to describe the Conceptual Design process of an embedded electronic display device. The work presents the following sub processes: definition of device specifications, introduction to the technological alternatives for system components and their comparison, comparative photometric measurements of selected display panels, and the design and building of a functional concept prototype. This work focuses mainly on electronics design, albeit the mechanical issues and fields of the software architecture that significantly affect the decisions are also discussed when necessary. The VESA Flat Panel Display Measurement (FPDM) 2.0 Standard was applied to the appropriate extent into photometric measurements. The results were analyzed against the requirement standards of a customer-specific display development project. An Active Matrix LCD was selected as the display of concept prototype, but also the excellent visual characteristics of Active Matrix OLED technology were noted. Should the reliability of the OLED products be significantly improved in the future, utilizing such products in the described application must be reconsidered.

Design and testing of an armature-reaction-compensated permanent magnet synchronous generator for island operation

At present, permanent magnet synchronous generators (PMSGs) are of great interest. Since they do not have electrical excitation losses, the highly efficient, lightweight and compact PMSGs equipped with damper windings work perfectly when connected to a network. However, in island operation, the generator (or parallel generators) alone is responsible for the building up of the network and maintaining its voltage and reactive power level. Thus, in island operation, a PMSG faces very tight constraints, which are difficult to meet, because the flux produced by the permanent magnets (PMs) is constant and the voltage of the generator cannot be controlled. Traditional electrically excited synchronous generators (EESGs) can easily meet these constraints, because the field winding current is controllable. The main drawback of the conventional EESG is the relatively high excitation loss. This doctoral thesis presents a study of an alternative solution termed as a hybrid excitation synchronous generator (HESG). HESGs are a special class of electrical machines, where the total rotor current linkage is produced by the simultaneous action of two different excitation sources: the electrical and permanent magnet (PM) excitation. An overview of the existing HESGs is given. Several HESGs are introduced and compared with the conventional EESG from technical and economic points of view. In the study, the armature-reaction-compensated permanent magnet synchronous generator with alternated current linkages (ARC-PMSG with ACL) showed a better performance than the other options. Therefore, this machine type is studied in more detail. An electromagnetic design and a thermal analysis are presented. To verify the operation principle and the electromagnetic design, a down-sized prototype of 69 kVA apparent power was built. The experimental results are demonstrated and compared with the predicted ones. A prerequisite for an ARC-PMSG with ACL is an even number of pole pairs (p = 2, 4, 6, …) in the machine. Naturally, the HESG technology is not limited to even-pole-pair machines. However, the analysis of machines with p = 3, 5, 7, … becomes more complicated, especially if analytical tools are used, and is outside the scope of this thesis. The contribution of this study is to propose a solution where an ARC-PMSG replaces an EESG in electrical power generation while meeting all the requirements set for generators given for instance by ship classification societies, particularly as regards island operation. The maximum power level when applying the technology studied here is mainly limited by the economy of the machine. The larger the machine is, the smaller is the efficiency benefit. However, it seems that machines up to ten megawatts of power could benefit from the technology. However, in low-power applications, for instance in the 500 kW range, the efficiency increase can be significant.