Benchmarking Symbian OS smartphones

Diplomityön tarkoituksena oli luoda menetelmä Symbian-käyttöjärjestelmää käyttävien älypuhelinten suorituskyvyn määrittämiseen, jotta laitteiden välisiä eroja voitaisiin mitata. Aluksi Symbian-käyttöjärjestelmää ja älypuhelinlaitteistoja tutkittiin suorituskykyyn ja sen vaihteluun vaikuttavien tekijöiden ja osien löytämiseksi. Tämän jälkeen kehitettiin useita testitapauksia sisältävä testikirjasto, jolla voitiin mitata joidenkin suorituskykyyn vaikuttavien käyttöjärjestelmän rajapintojen suoritusaikoja. Testikirjaston testit ajettiin kolmella eri älypuhelinmallilla, jotta testien toimivuutta voitiin arvioida. Lopuksi testituloksia analysoitiin mahdollisten pullonkaulojen havaitsemiseksi suorituskyvystä. Testikirjaston pystyttiin havaitsemaan eroja laitteiden suorituskyvyssä. Viimeisin, uudella Symbianin EKA2-ytimellä varustettu älypuhelin, Nokia E70, jäi mittauksissa viimeiseksi, koska se pärjäsi huonosti muistinvarauksia ja TRAP-poikkeuksia testaavissa tapauksissa. Muilla mitatuilla osa-alueilla se kuitenkin päihitti selvästi muut testatut puhelimet, Nokia N90:n ja Nokia 6630:n. Näiden kahden muun laitteen tulosten skaalan tasaisuus osoittaa, että kehitetyn testikirjaston avulla saadaan johdonmukaisia ja uskottavia mittaustuloksia.

The goal of this thesis was to develop a method for measuring the general performance of smartphones running Symbian operating system so that different devices could be compared. First, Symbian OS itself and the hardware of smartphones were analyzedto identify the essential software and hardware components that directly contribute to devices' overall performance and possibly cause variance in it. Then a test suite was implemented for benchmarking some of the performance-relevant interfaces of Symbian OS. The benchmark suite was executed with three smartphones to verify its validity. Finally the results of the benchmark were analyzed to discover possible bottlenecks in performance. The test suite found clear differences in the devices' performance. The newest device with Symbians new EKA2 kernel, Nokia E70, was benchmarked to be slowest because of its poor performance in memory allocation and TRAP exception benchmarks. In other benchmarked areasit however outperformed its rivals, Nokia N90 and Nokia 6630. The equal scale of results of these two other devices confirmed that the test suite produces consistent and reliable results.