Measuring and tracking quality factors in Free and Open Source Software projects

Free and Open Source Software (FOSS) has gained increased interest in the computer software industry, but assessing its quality remains a challenge. FOSS development is frequently carried out by globally distributed development teams, and all stages of development are publicly visible. Several product and process-level quality factors can be measured using the public data. This thesis presents a theoretical background for software quality and metrics and their application in a FOSS environment. Information available from FOSS projects in three information spaces are presented, and a quality model suitable for use in a FOSS context is constructed. The model includes both process and product quality metrics, and takes into account the tools and working methods commonly used in FOSS projects. A subset of the constructed quality model is applied to three FOSS projects, highlighting both theoretical and practical concerns in implementing automatic metric collection and analysis. The experiment shows that useful quality information can be extracted from the vast amount of data available. In particular, projects vary in their growth rate, complexity, modularity and team structure.

Intresset för fri och öppen programvara (Free and Open Source Software, FOSS) har ökat inom programvaruindustrin, men dess kvalitetsmätning är alltjämt en utmaning. FOSS-utveckling utförs ofta av globalt utspridda utvecklingsteam, och alla skeden av utvecklingen är synliga för allmänheten. Flera kvalitetsfaktorer på produkt- och processnivå kan mätas med hjälp av allmänt tillgängliga data. Denna avhandling presenterar en teoretisk bakgrund för programvarukvalitet och -metrik och deras användning i en FOSS-miljö. Avhandlingen presenterar information som kan samlas från tre informationsområden i FOSS-projekt, och konstruerar en kvalitetsmodell som är lämplig för användning i FOSS-sammanhang. Modellen innehåller mätare för både process- och produktkvalitetsfaktorer, och beaktar de verktyg och arbetsmetoder som ofta används i FOSS-projekt. En delmängd av den konstruerade kvalitetsmodellen appliceras på tre FOSS-projekt, vilket belyser både teoretiska och praktiska problemområden för implementering av automatisk metrikinsamling och -analys. Experimentet visar att det är möjligt att utvinna användbar information ur den väldiga datamängd som finns tillgänglig. Särskilt kan nämnas att projekten varierar i tillväxthastighet, komplexitet, modularitet och gruppstruktur.