A Survey and Classification of Software Testing Tools

Software testing is one of the essential parts in software engineering process. The objective of the study was to describe software testing tools and the corresponding use. The thesis contains examples of software testing tools usage. The study was conducted as a literature study, with focus on current software testing practices and quality assurance standards. In the paper a tool classifier was employed, and testing tools presented in study were classified according to it. We found that it is difficult to distinguish current available tools by certain testing activities as many of them contain functionality that exceeds scopes of a single testing type.

ATS3-testausjärjestelmän evaluointi

Työ tehtiin Nokia Technology Platforms S60 Mobile Runtime-yksikölle. Työn tavoitteena oli evaluoida ATS3-testausjärjestelmä. ATS3-järjestelmällä voidaan automatisoida ohjelmistotestausta. Evaluoinnilla pyrittiin selvittämään voidaanko tuotekehitysvaiheessa oleva järjestelmä ottaa jo käyttöön vai vaatiiko se vielä lisäkehitystä. Työssä kerrotaan aluksi yleisesti ohjelmistotestauksesta. Siinä käydään läpi myös testausprosessin vaiheet sekä kerrotaan lyhyesti avuksi kehitetyistä työkaluista. Työssä kerrotaan myös ATS3-järjestelmän edeltäjien ominaisuuksista, sekä miten ne eroavat tarkastelun kohteena olevasta järjestelmästä. Varsinainen evaluointi alkoi tutustumalla ja asentamalla järjestelmä. Tämän jälkeen suoritettiin samat testit sekä ATS2.x-järjestelmässä että ATS3-järjestelmäss. Testauksen jälkeen analysoitiin testitulosten yhdenmukaisuuden perusteella, voidaanko siirtyä käyttömään ATS3-järjestelmää. Testitulokset olivat käytännässä yhdenmukaiset suoritettaessa testejä matkapuhelimessa, mutta emulaattoritestaus täytyi jättää väliin. Lukuisista yrityksistä sekä järjestelmän kehittäjän avusta huolimatta testejä ei onnistuttu suorittamaan ATS3-järjestelmän emulaattoriympäristössä. Näin ollen päädyttiin tulokseen, ettei järjestelmää voida ottaa vielä käytöön emulaattoritestauksessa, vaan se vaatii lisätutkimusta sekä perehtymistä järjestelmään.

Ohjelmistotestauksen markkinatutkimus

Tutkimuksen tavoitteena oli selvittää ohjelmistotestauksen tarve ohjelmistoliiketoiminnan yrityksissä. Ensin tutkittiin ohjelmistotestauksen sekä markkinatutkimuksen teoriaa, kirjallisuuden ja lehtiartikkelien avulla. Markkinatutkimus toteutettiin kirjekyselynä. Erityistä huomiota kiinnitettiin testauksen ulkoistamiseen, yritysten haasteisiin sekä tarpeisiin liittyen ohjelmistokehitykseen ja –testaukseen. Ohjelmistotestauksen avulla saavutettava laatu on olennainen osa suomalaista ohjelmistoliiketoiminnan kilpailukykyä ja se on keino erottua edukseen muista ohjelmistotuotteista kilpailtaessa samoista asiakkaista kansainvälisillä markkinoilla. Markkinatutkimuksessa saatiin merkittäviä tuloksia ohjelmistotestausmarkkinoista, yritysten sisäisestä sekä ulkoisesta ohjelmistotestauksesta ja testaustyökalujen käytöstä. Tutkimuksissa selvisi, että yritysten suurimpana haasteena oli ohjelmistokehitys- ja testausprosessien kehittäminen. Tätä aihetta on Suomessa tutkinut Teknillinen korkeakoulusta SoberIT-yksikkö ja he ovat kehittäneet SEMS-ohjelmistotuotannon ohjausjärjestelmän pk-ohjelmistotuoteyrityksille. SoftaTest aikoo hyödyntää näitä tutkimustuloksia mm. perustamalla liiketoimintaan tähtäävän projektin vahvistamaan suomalaisten ohjelmistotuoteyritysten menestymistä markkinoilla.

Kuormitustestausvälineen valinta Microsoft Office SharePoint Server 2007 – toteutuksessa

Kuormitustestaus on osa web-sovellusten kehitystä ja käyttöönottoa. Sillä varmistetaan sovellusten toimivuus ennalta määrätyn kuorman alla. Microsoft Office SharePoint Server 2007 (MOSS) on palvelintuote nykyaikaisten web-sovellusten luontiin ja ylläpitoon. Työssä vertaillaan kahta eri uormitustestaustyökalua: SilkPerformer 2008 ja Visual Studio Team System 2008 Test Edition ja valitaan MOSS – web-sovelluksille paremmin sopiva työkalu. Työssä vertaillaan työkaluja niiden ominaisuuksien perusteella sekä suorittamalla kuormitustestausta testausta varten luodulle MOSS – web-sovellukselle. Vaikuttavien tekijöiden perusteella työkaluja arvioidaan ja tämän perusteella saadaan tulos vertailulle. Työn tuloksena Visual Studio Team System 2008 Test Edition sopii paremmin MOSS – web-sovelluksen kuormitustestausvälineeksi. Vertailussa kuitenkin havaittiin, että työkalut ovat melko tasavertaisia, ja käytännön tilanteesta riippuu, kumpi sopii paremmin. Tämä työ auttaa valinnan teossa.

Cardiac Troponin Specific Autoantibodies: Analytical Tools for Exploring Their Impact on Cardiac Troponin I Testing

Cardiac troponin (cTn) I and T are the recommended biomarkers for the diagnosis and risk stratification of patients with suspected acute coronary syndrome (ACS), a major cause of cardiovascular death and disability worldwide. It has recently been demonstrated that cTn-specific autoantibodies (cTnAAb) can negatively interfere with cTnI detection by immunoassays to the extent that cTnAAb-positive patients may be falsely designated as cTnI-negative. The aim of this thesis was to develop and optimize immunoassays for the detection of both cTnI and cTnAAb, which would eventually enable exploring the clinical impact of these autoantibodies on cTnI testing and subsequent patient management. The extent of cTnAAb interference in different cTnI assay configurations and the molecular characteristics of cTnAAbs were investigated in publications I and II, respectively. The findings showed that cTnI midfragment targeting immunoassays used predominantly in clinical practice are affected by cTnAAb interference which can be circumvented by using a novel 3+1-type assay design with three capture antibodies against the N-terminus, midfragment and C-terminus and one tracer antibody against the C-terminus. The use of this assay configuration was further supported by the epitope specificity study, which showed that although the midfragment is most commonly targeted by cTnAAbs, the interference basically encompasses the whole molecule, and there may be remarkable individual variation at the affected sites. In publications III and IV, all the data obtained in previous studies were utilized to develop an improved version of an existing cTnAAb assay and a sensitive cTnI assay free of this specific analytical interference. The results of the thesis showed that approximately one in 10 patients with suspected ACS have detectable amounts of cTnAAbs in their circulation and that cTnAAbs can inhibit cTnI determination when targeted against the binding sites of assay antibodies used in its immunological detection. In the light of these observations, the risk of clinical misclassification caused by the presence of cTnAAbs remains a valid and reasonable concern. Because the titers, affinities and epitope specificities of cTnAAbs and the concentration of endogenous cTnI determine the final effect of circulating cTnAAbs, appropriately sized studies on their clinical significance are warranted. The new cTnI and cTnAAb assays could serve as analytical tools for establishing the impact of cTnAAbs on cTnI testing and also for unraveling the etiology of cTn-related autoimmune responses.

Automated User Interface testing in Symbian Operating System

Tässä diplomityössä tutkitaan automatisoitua testausta ja käyttöliittymätestauksen tekemistä helpommaksi Symbian-käyttöjärjestelmässä. Työssä esitellään Symbian ja Symbian-sovelluskehityksessä kohdattavia haasteita. Lisäksi kerrotaan testausstrategioista ja -tavoista sekä automatisoidusta testaamisesta. Lopuksi esitetään työkalu, jolla testitapausten luominen toiminnalisuus- ja järjestelmätestaukseen tehdään helpommaksi. Graafiset käyttöliittymättuovat ainutlaatuisia haasteita ohjelmiston testaamiseen. Ne tehdään usein monimutkaisista komponenteista ja niitä suunnitellaan jatkuvasti uusiksi ohjelmistokehityksen aikana. Graafisten käyttöliittymien testaukseen käytetään usein kaappaus- ja toistotyökaluja. Käyttöliittymätestauksen testitapausten suunnittelu ja toteutus vaatii paljon panostusta. Koska graafiset käyttöliittymät muodostavat suuren osan koodista, voitaisiin säästää paljon resursseja tekemällä testitapausten luomisesta helpompaa. Käytännön osuudessa toteutettu projekti pyrkii tähän tekemällä testiskriptien luomisesta visuaalista. Näin ollen itse testien skriptikieltä ei tarvitse ymmärtää ja testien hahmottaminen on myös helpompaa.

Design, implementation and testing of DVB/MHP-application development environment

Tämä diplomityö esittelee 1.6. - 4.11.2002 Mikkelin ammattikorkeakoulun YTI-tutkimuskeskuksen Informaatio- ja mediateknologian hankekokonaisuuden STRIMT-projektin puitteissa tekemäni MHP-kehitysjärjestelmähankinnan tuloksia. Digitaalitelevision MHP-sovelluskehitysjärjestelmän hankinnan tulosten lisäksi työ antaa yleiskuvan MHP-sovelluskehitystyökaluista, digitaalitelevisiostandardeista sekä digitaalitelevisioverkkojen yhteistoimintamalleista televerkkojen kanssa. Keräämieni tietojen, tekemäni tarvemäärittelyn ja suorittamani tuotevertailun perusteella valitsin tarpeisiimme sopivimmaksi järjestelmäksi Alticast Inc.-yrityksen Altifusion-tuotteen. Tuotteen valinnassa otin huomioon myös mahdolliset tulevaisuuden tarpeet aina täysimittaista lähetysjärjestelmää varten kehittämällä vaiheittaisen hankintasuunnitelman. Järjestelmää hankittaessa tärkeintä on huomioida heti alusta alkaen mahdolliset tulevat tarpeet ja varmistaa hankinnan hyödynnettävyys myös tulevaisuudessa. Järjestelmän hankinnan lisäksi vastasin sen käyttöönotosta ja järjestelmää hyödyntävän testisovelluksen laatimisesta.

Load and Performance Testing of Web Applications on Service Based Environments

Suorituskyky- ja kuormitustestien tekeminen sovelluksille on erittäin tärkeä osa tuotantoprosessia nykypäivänä. Myös Web-sovelluksia testataan yhä enemmän. Tarve suorituskyky- ja kuormitustestien tekemiselle on selvä. Testattavan ympäristön tämänhetkinen, mutta myös tulevaisuuden toimivuus taataan oikein tehdyillä testeillä ja niitä seuraavilla korjaustoimenpiteillä. Suurten käyttäjämäärien testaaminen manuaalisesti on kuitenkin hyvin vaikeaa. Sirpaleisen ympäristön, kuten palveluihin perustuvien Web-sovellusympäristöjen testaaminen on haaste. Tämän työn aiheena on arvioida työkaluja ja menetelmiä, joilla raskaita teollisia Web-sovelluksia voidaan testata. Tavoitteena on löytää testausmenetelmiä, joilla voidaan luotettavasti simuloida suuria käyttäjämääriä. Tavoitteena on myös arvioida erilaisten yhteyksien ja protokollien vaikutusta Web-sovelluksen suorituskykyyn.

Testing and Monitoring Mill Connection Messages

Tarve tälle työlle on noussut sanomapalvelinsoveluksissa (servers) esiintyvistä ongelmista. Sanomapalvelinsovelluksia käytetään lähettämään ja vastaanottamaan sanomia paperiteollisuuden myynnin ja jakelun järjestelmässä maantieteellisesti erillään olevista paperiteollisuuden tehtaista. Sanomapalvelinsovelusten kunnollinen toimivuus on tärkeää koko järjestelmän toimivuuden kannalta, koska nämä palvelimet käsittelevät päivittäin tuhansia sanomia, jotka sisältävät merkityksellistä järjestelmätietoa. Tässä työssä on tutkittu mahdollisia toteutustekniikoita ja näihin tutkimuksiin pohjautuen toteutettu työkalut sanomapalvelinsovellusten testaukseen ja valvontaan. Sovellus-arkkituuritekniikoita tutkittaessa tutkimus rajattiin 3-tasoarkkitehtuuritekniikkaan, erityisesti TUXEDOTM -järjestelmätekniikkaan, koska toteutettavaa sovellusta käytetään hajautetussa sovellusympäristössä. Sovellusasiakkaan (client) toteutusta varten tutkittiin ja vertailtiin XML-tekniikkaa ja Microsoft Visual C++ -tekniikkaa käytettynä Tieto-Enatorin Phobos Interaktiivisen C++ -luokkakirjaston kanssa. XML-tekniikoita sekä Visual C++ ja Phobos-luokkakirjasto –tekniikkaa tutkittiin niiltä osin, mitä tarvittiin sanomamerkkijonojen katseluun. XML-tietokantatekniikoita tutkittiin mahdollisena vaihtoehtona tietokanta ja sovelluspalvelintekniikalle. Työn ensimmäisenä tavoitteena oli toteuttaa työkalu sanomapalvelinsovellusten testaamiseen. Toisena tavoitteena oli toteuttaa työkalu sanomien sisällön oikeellisuuden valvontaan. Kolmantena tavoitteena oli analysoida olemassaolevaa sanomavirheiden valvontasovellusta ja kehittää sitä eteenpäin. Diplomityön tuloksena toteutettiin sovellus sanomapalvelinsovellusten testaamiseen ja valvontaan. Tutkituista asiakassovelustekniikoista valittiin toteutus-tekniikaksi MS Visual C++ käytettynä Phobos Interaktiivisen C++ luokkakirjaston kanssa tekniikan tunnettavuuden vuoksi. 3-taso TUXEDOTM-tekniikka valittiin sovelluksen arkkitehtuuriksi. Lisäksi löydettiin parannuksia olemassa oleviin sanoma-virheiden valvontatoimintoihin. Tutkitut toteutustekniikat ovat yleisiä ja niitä voidaan käyttää, kun toteutetaan samanlaisia sovelluksia samanlaisiin sovellusympäristöihin.

Web Application Performance Testing

Web application performance testing is an emerging and important field of software engineering. As web applications become more commonplace and complex, the need for performance testing will only increase. This paper discusses common concepts, practices and tools that lie at the heart of web application performance testing. A pragmatic, hands-on approach is assumed where applicable; real-life examples of test tooling, execution and analysis are presented right next to the underpinning theory. At the client-side, web application performance is primarily driven by the amount of data transmitted over the wire. At the server-side, selection of programming language and platform, implementation complexity and configuration are the primary contributors to web application performance. Web application performance testing is an activity that requires delicate coordination between project stakeholders, developers, system administrators and testers in order to produce reliable and useful results. Proper test definition, execution, reporting and repeatable test results are of utmost importance. Open-source performance analysis tools such as Apache JMeter, Firebug and YSlow can be used to realise effective web application performance tests. A sample case study using these tools is presented in this paper. The sample application was found to perform poorly even under the moderate load incurred by the sample tests.

Visualization of communication system testing logs

During the past decades testing has matured from ad-hoc activity into being an integral part of the development process. The benefits of testing are obvious for modern communication systems, which operate in heterogeneous environments amongst devices from various manufacturers. The increased demand for testing also creates demand for tools and technologies that support and automate testing activities. This thesis discusses applicability of visualization techniques in the result analysis part of the testing process. Particularly, the primary focus of this work is visualization of test execution logs produced by a TTCN-3 test system. TTCN-3 is an internationally standardized test specification and implementation language. The TTCN-3 standard suite includes specification of a test logging interface and a graphical presentation format, but no immediate relationship between them. This thesis presents a technique for mapping the log events to the graphical presentation format along with a concrete implementation, which is integrated with the Eclipse Platform and the OpenTTCN Tester toolchain. Results of this work indicate that for majority of the log events, a visual representation may be derived from the TTCN-3 standard suite. The remaining events were analysed and three categories relevant in either log analysis or implementation of the visualization tool were identified: events indicating insertion of something into the incoming queue of a port, events indicating a mismatch and events describing the control flow during the execution. Applicability of the results is limited into the domain of TTCN-3, but the developed mapping and the implementation may be utilized with any TTCN-3 tool that is able to produce the execution log in the standardized XML format.

A proposal for a repertoire of software testing methods

Nowadays software testing and quality assurance have a great value in software development process. Software testing does not mean a concrete discipline, it is the process of validation and verification that starts from the idea of future product and finishes at the end of product’s maintenance. The importance of software testing methods and tools that can be applied on different testing phases is highly stressed in industry. The initial objectives for this thesis were to provide a sufficient literature review on different testing phases and for each of the phases define the method that can be effectively used for improving software’s quality. Software testing phases, chosen for study are: unit testing, integration testing, functional testing, system testing, acceptance testing and usability testing. The research showed that there are many software testing methods that can be applied at different phases and in the most of the cases the choice of the method should be done depending on software type and its specification. In the thesis the problem, concerned to each of the phases was identified; the method that can help in eliminating this problem was suggested and particularly described.

Vibration free machining tools

Appearance of the vibration is the very important problem in long tool turning and milling. Current solutions of minimizing vibrations provided by different tool suppliers are very expensive. This Master’s Thesis is presenting the new type of vibration free machining tools produced by Konepaja ASTEX Gear Oy that have cheaper production costs compare to competitors’ products. Vibration problems in machining and their today’s solutions are analyzed in this work. The new vibration damping invention is presented and described. Moreover, the production, laboratory experimental modal analysis and practical testing of the new vibration free prototypes are observed and analyzed on the pages of this Thesis. Based on the testing results the new invention is acknowledged to be successful and approved for further studies and developments.

Automated Software Testing in Machine Automation

The problem of software (SW) defaults is becoming more and more topical because of increasing amount of the SW and its complication. The majority of these defaults are founded during the test part that consumes about 40-50% of the development efforts. Test automation allows reducing the cost of this process and increasing testing effectiveness. In the middle of 1980 the first tools for automated testing appeared and the automated process was implemented in different kinds of SW testing. In short time, it became obviously, automated testing can cause many problems such as increasing product cost, decreasing reliability and even project fail. This thesis describes automated testing process, its concept, lists main problems, and gives an algorithm for automated test tools selection. Also this work presents an overview of the main automated test tools for embedded systems.

Design and testing of an armature-reaction-compensated permanent magnet synchronous generator for island operation

At present, permanent magnet synchronous generators (PMSGs) are of great interest. Since they do not have electrical excitation losses, the highly efficient, lightweight and compact PMSGs equipped with damper windings work perfectly when connected to a network. However, in island operation, the generator (or parallel generators) alone is responsible for the building up of the network and maintaining its voltage and reactive power level. Thus, in island operation, a PMSG faces very tight constraints, which are difficult to meet, because the flux produced by the permanent magnets (PMs) is constant and the voltage of the generator cannot be controlled. Traditional electrically excited synchronous generators (EESGs) can easily meet these constraints, because the field winding current is controllable. The main drawback of the conventional EESG is the relatively high excitation loss. This doctoral thesis presents a study of an alternative solution termed as a hybrid excitation synchronous generator (HESG). HESGs are a special class of electrical machines, where the total rotor current linkage is produced by the simultaneous action of two different excitation sources: the electrical and permanent magnet (PM) excitation. An overview of the existing HESGs is given. Several HESGs are introduced and compared with the conventional EESG from technical and economic points of view. In the study, the armature-reaction-compensated permanent magnet synchronous generator with alternated current linkages (ARC-PMSG with ACL) showed a better performance than the other options. Therefore, this machine type is studied in more detail. An electromagnetic design and a thermal analysis are presented. To verify the operation principle and the electromagnetic design, a down-sized prototype of 69 kVA apparent power was built. The experimental results are demonstrated and compared with the predicted ones. A prerequisite for an ARC-PMSG with ACL is an even number of pole pairs (p = 2, 4, 6, …) in the machine. Naturally, the HESG technology is not limited to even-pole-pair machines. However, the analysis of machines with p = 3, 5, 7, … becomes more complicated, especially if analytical tools are used, and is outside the scope of this thesis. The contribution of this study is to propose a solution where an ARC-PMSG replaces an EESG in electrical power generation while meeting all the requirements set for generators given for instance by ship classification societies, particularly as regards island operation. The maximum power level when applying the technology studied here is mainly limited by the economy of the machine. The larger the machine is, the smaller is the efficiency benefit. However, it seems that machines up to ten megawatts of power could benefit from the technology. However, in low-power applications, for instance in the 500 kW range, the efficiency increase can be significant.