Quantitative market and sales forecast accuracy analysis

The main objective of this master’s thesis was to quantitatively study the reliability of market and sales forecasts of a certain company by measuring bias, precision and accuracy of these forecasts by comparing forecasts against actual values. Secondly, the differences of bias, precision and accuracy between markets were explained by various macroeconomic variables and market characteristics. Accuracy and precision of the forecasts seems to vary significantly depending on the market that is being forecasted, the variable that is being forecasted, the estimation period, the length of the estimated period, the forecast horizon and the granularity of the data. High inflation, low income level and high year-on-year market volatility seems to be related with higher annual market forecast uncertainty and high year-on-year sales volatility with higher sales forecast uncertainty. When quarterly market size is forecasted, correlation between macroeconomic variables and forecast errors reduces. Uncertainty of the sales forecasts cannot be explained with macroeconomic variables. Longer forecasts are more uncertain, shorter estimated period leads to higher uncertainty, and usually more recent market forecasts are less uncertain. Sales forecasts seem to be more uncertain than market forecasts, because they incorporate both market size and market share risks. When lead time is more than one year, forecast risk seems to grow as a function of root forecast horizon. When lead time is less than year, sequential error terms are typically correlated, and therefore forecast errors are trending or mean-reverting. The bias of forecasts seems to change in cycles, and therefore the future forecasts cannot be systematically adjusted with it. The MASE cannot be used to measure whether the forecast can anticipate year-on-year volatility. Instead, we constructed a new relative accuracy measure to cope with this particular situation.

Pro gradu -tutkielman tavoitteena oli kvantitatiivisesti tarkastella erään yrityksen kahden eri markkina- ja yhden myyntiennusteen luotettavuutta ennustetarkkuuden, riskin eli virhetermin hajonnan ja systemaattisen virheen näkökulmista vertailemalla tehtyjä ennusteita todellisiin arvoihin, sekä selittää havaittuja eroja markkinoiden välillä maiden markkinaominaisuuksilla ja makrotaloudellisilla tekijöillä. Ennustarkkuuden ja -riskin havaittiin vaihtelevan merkittävästi riippuen ennustettavasta markkinasta ja muuttujasta, estimointiajanjaksosta, estimoidun ajanjakson pituudesta, ennustehorisontista ja aineiston granulariteetista. Korkea inflaatio, matala tulotaso ja suuri annualisoitu markkinavolatiliteetti näyttäisivät olevan yhteydessä suureen annualisoituun markkinaennusteriskiin ja annualisoitu myynnin volatiliteetti suureen myyntiennusteriskiin. Ennustettavan ajanjakson ollessa kvartaali, makrotaloudellisten muuttujien selitysaste heikkenee. Myyntiennusteiden riskiä makrotaloudelliset tekijät eivät sen sijaan näyttäisi selittävän. Lyhyet, pidempää ajanjaksoa ennustavat ja uudet ennusteet näyttäisivät olevan tarkempia. Myyntiennusteet näyttäisivät olevan markkinaennusteita epätarkempia, koska ne sisältävät epävarmuuden sekä markkinaosuudesta että markkinakoosta. Ennusteriski näyttäisi kasvavan ennustehorisontin neliöjuuren funktiona, kun ennustehorisontti on yli vuosi. Kun ennustehorisontti on alle vuosi, peräkkäiset virhetermit korreloivat. Ennusteen systemaattisen virheen havaittiin vaihtelevan sykleissä, jolloin sen käyttämistä uusia ennusteita tehdessä voidaan kritisoida. Suhteellista ennustetarkkuuden mittaria MASEa ei voida käyttää selvittämään, kykeneekö ennuste ennakoimaan annualisoitua volatiliteettia. Sen sijaan juuri näihin tapauksiin kehitetään täysin uusi suhteellisen ennusteriskin mittari.