Application of Neural Network Methods in the Prediction of Stock Markets

The purpose of the research is to define practical profit which can be achieved using neural network methods as a prediction instrument. The thesis investigates the ability of neural networks to forecast future events. This capability is checked on the example of price prediction during intraday trading on stock market. The executed experiments show predictions of average 1, 2, 5 and 10 minutes’ prices based on data of one day and made by two different types of forecasting systems. These systems are based on the recurrent neural networks and back propagation neural nets. The precision of the predictions is controlled by the absolute error and the error of market direction. The economical effectiveness is estimated by a special trading system. In conclusion, the best structures of neural nets are tested with data of 31 days’ interval. The best results of the average percent of profit from one transaction (buying + selling) are 0.06668654, 0.188299453, 0.349854787 and 0.453178626, they were achieved for prediction periods 1, 2, 5 and 10 minutes. The investigation can be interesting for the investors who have access to a fast information channel with a possibility of every-minute data refreshment.

Modelling the colour difference by artificial neural network

This thesis work studies the modelling of the colour difference using artificial neural network. Multilayer percepton (MLP) network is proposed to model CIEDE2000 colour difference formula. MLP is applied to classify colour points in CIE xy chromaticity diagram. In this context, the evaluation was performed using Munsell colour data and MacAdam colour discrimination ellipses. Moreover, in CIE xy chromaticity diagram just noticeable differences (JND) of MacAdam ellipses centres are computed by CIEDE2000, to compare JND of CIEDE2000 and MacAdam ellipses. CIEDE2000 changes the orientation of blue areas in CIE xy chromaticity diagram toward neutral areas, but on the whole it does not totally agree with the MacAdam ellipses. The proposed MLP for both modelling CIEDE2000 and classifying colour points showed good accuracy and achieved acceptable results.

Controlling full penetration in MAG welding by the application of infrared thermography and neural network

In this study, an infrared thermography based sensor was studied with regard to usability and the accuracy of sensor data as a weld penetration signal in gas metal arc welding. The object of the study was to evaluate a specific sensor type which measures thermography from solidified weld surface. The purpose of the study was to provide expert data for developing a sensor system in adaptive metal active gas (MAG) welding. Welding experiments with considered process variables and recorded thermal profiles were saved to a database for further analysis. To perform the analysis within a reasonable amount of experiments, the process parameter variables were gradually altered by at least 10 %. Later, the effects of process variables on weld penetration and thermography itself were considered. SFS-EN ISO 5817 standard (2014) was applied for classifying the quality of the experiments. As a final step, a neural network was taught based on the experiments. The experiments show that the studied thermography sensor and the neural network can be used for controlling full penetration though they have minor limitations, which are presented in results and discussion. The results are consistent with previous studies and experiments found in the literature.

Forecasting of wind speeds and directions with artificial neural networks

In this master’s thesis, wind speeds and directions were modeled with the aim of developing suitable models for hourly, daily, weekly and monthly forecasting. Artificial Neural Networks implemented in MATLAB software were used to perform the forecasts. Three main types of artificial neural network were built, namely: Feed forward neural networks, Jordan Elman neural networks and Cascade forward neural networks. Four sub models of each of these neural networks were also built, corresponding to the four forecast horizons, for both wind speeds and directions. A single neural network topology was used for each of the forecast horizons, regardless of the model type. All the models were then trained with real data of wind speeds and directions collected over a period of two years in the municipal region of Puumala in Finland. Only 70% of the data was used for training, validation and testing of the models, while the second last 15% of the data was presented to the trained models for verification. The model outputs were then compared to the last 15% of the original data, by measuring the mean square errors and sum square errors between them. Based on the results, the feed forward networks returned the lowest generalization errors for hourly, weekly and monthly forecasts of wind speeds; Jordan Elman networks returned the lowest errors when used for forecasting of daily wind speeds. Cascade forward networks gave the lowest errors when used for forecasting daily, weekly and monthly wind directions; Jordan Elman networks returned the lowest errors when used for hourly forecasting. The errors were relatively low during training of the models, but shot up upon simulation with new inputs. In addition, a combination of hyperbolic tangent transfer functions for both hidden and output layers returned better results compared to other combinations of transfer functions. In general, wind speeds were more predictable as compared to wind directions, opening up opportunities for further research into building better models for wind direction forecasting.

Pretraining Convolutional Neural Networks for Visual Recognition

Convolutional Neural Networks (CNN) have become the state-of-the-art methods on many large scale visual recognition tasks. For a lot of practical applications, CNN architectures have a restrictive requirement: A huge amount of labeled data are needed for training. The idea of generative pretraining is to obtain initial weights of the network by training the network in a completely unsupervised way and then fine-tune the weights for the task at hand using supervised learning. In this thesis, a general introduction to Deep Neural Networks and algorithms are given and these methods are applied to classification tasks of handwritten digits and natural images for developing unsupervised feature learning. The goal of this thesis is to find out if the effect of pretraining is damped by recent practical advances in optimization and regularization of CNN. The experimental results show that pretraining is still a substantial regularizer, however, not a necessary step in training Convolutional Neural Networks with rectified activations. On handwritten digits, the proposed pretraining model achieved a classification accuracy comparable to the state-of-the-art methods.

Deep convolutional neural networks for semantic video object segmentation

In this thesis, we propose to infer pixel-level labelling in video by utilising only object category information, exploiting the intrinsic structure of video data. Our motivation is the observation that image-level labels are much more easily to be acquired than pixel-level labels, and it is natural to find a link between the image level recognition and pixel level classification in video data, which would transfer learned recognition models from one domain to the other one. To this end, this thesis proposes two domain adaptation approaches to adapt the deep convolutional neural network (CNN) image recognition model trained from labelled image data to the target domain exploiting both semantic evidence learned from CNN, and the intrinsic structures of unlabelled video data. Our proposed approaches explicitly model and compensate for the domain adaptation from the source domain to the target domain which in turn underpins a robust semantic object segmentation method for natural videos. We demonstrate the superior performance of our methods by presenting extensive evaluations on challenging datasets comparing with the state-of-the-art methods.

Yhteiskunnallisen sisältöpalvelun sosioteknologinen tarkastelu Kohosen itseorganisoituvien karttojen avulla - Case deittipalvelu

Työn tavoitteena on tutkia deittipalvelun käyttäjien anonyymiaineistoa neuroverkko-opetuksessa segmentoituneiden piirrekarttojen (SOM, Self-Organizing Map) avulla. Näiden piirrekarttojen avulla on tarkoitus selvittää, löytyykö mahdollisesti selkeitä SMS- ja e-mail - käyttäjäryhmiä. Tutkimusta lähestytään perehtymällä ensin yrityksen tekniseen palvelualusta-arkkitehtuuriin ja myös varsinaiseen deittipalveluun käyttäjän kannalta.Tutkimus aloitettiin koodaamalla tietoaineisto SOM Toolbox-ohjelmalle käytettäväksi. Varsinaisia tutkimustuloksia analysoitiin valitsemalla otoksia neuroverkko-opetuksessa segmentoituneista piirrekartoista. Saadut tulokset osoittavat, ettäSOM-teknologia soveltuu hyvin sisältöpalveluiden sosioteknologiseen tutkimukseen ja sitä on myös mahdollista käyttää asiakkuudenhallinnassa erilaisten käyttäjäryhmien profilointiin.

On the differential evolution algorithm and its appliation to training radial basis function networks

The parameter setting of a differential evolution algorithm must meet several requirements: efficiency, effectiveness, and reliability. Problems vary. The solution of a particular problem can be represented in different ways. An algorithm most efficient in dealing with a particular representation may be less efficient in dealing with other representations. The development of differential evolution-based methods contributes substantially to research on evolutionary computing and global optimization in general. The objective of this study is to investigatethe differential evolution algorithm, the intelligent adjustment of its controlparameters, and its application. In the thesis, the differential evolution algorithm is first examined using different parameter settings and test functions. Fuzzy control is then employed to make control parameters adaptive based on an optimization process and expert knowledge. The developed algorithms are applied to training radial basis function networks for function approximation with possible variables including centers, widths, and weights of basis functions and both having control parameters kept fixed and adjusted by fuzzy controller. After the influence of control variables on the performance of the differential evolution algorithm was explored, an adaptive version of the differential evolution algorithm was developed and the differential evolution-based radial basis function network training approaches were proposed. Experimental results showed that the performance of the differential evolution algorithm is sensitive to parameter setting, and the best setting was found to be problem dependent. The fuzzy adaptive differential evolution algorithm releases the user load of parameter setting and performs better than those using all fixedparameters. Differential evolution-based approaches are effective for training Gaussian radial basis function networks.

Artificially Intelligent and Adaptive Methods for Prediction and Analysis of Superheater Fireside Corrosion in Fluidized Bed Boilers

Superheater corrosion causes vast annual losses for the power companies. With a reliable corrosion prediction method, the plants can be designed accordingly, and knowledge of fuel selection and determination of process conditions may be utilized to minimize superheater corrosion. Growing interest to use recycled fuels creates additional demands for the prediction of corrosion potential. Models depending on corrosion theories will fail, if relations between the inputs and the output are poorly known. A prediction model based on fuzzy logic and an artificial neural network is able to improve its performance as the amount of data increases. The corrosion rate of a superheater material can most reliably be detected with a test done in a test combustor or in a commercial boiler. The steel samples can be located in a special, temperature-controlled probe, and exposed to the corrosive environment for a desired time. These tests give information about the average corrosion potential in that environment. Samples may also be cut from superheaters during shutdowns. The analysis ofsamples taken from probes or superheaters after exposure to corrosive environment is a demanding task: if the corrosive contaminants can be reliably analyzed, the corrosion chemistry can be determined, and an estimate of the material lifetime can be given. In cases where the reason for corrosion is not clear, the determination of the corrosion chemistry and the lifetime estimation is more demanding. In order to provide a laboratory tool for the analysis and prediction, a newapproach was chosen. During this study, the following tools were generated: · Amodel for the prediction of superheater fireside corrosion, based on fuzzy logic and an artificial neural network, build upon a corrosion database developed offuel and bed material analyses, and measured corrosion data. The developed model predicts superheater corrosion with high accuracy at the early stages of a project. · An adaptive corrosion analysis tool based on image analysis, constructedas an expert system. This system utilizes implementation of user-defined algorithms, which allows the development of an artificially intelligent system for thetask. According to the results of the analyses, several new rules were developed for the determination of the degree and type of corrosion. By combining these two tools, a user-friendly expert system for the prediction and analyses of superheater fireside corrosion was developed. This tool may also be used for the minimization of corrosion risks by the design of fluidized bed boilers.

On Modelling, System Identification and Control of Servo-Systems with a Flexible Load

The present study was done with two different servo-systems. In the first system, a servo-hydraulic system was identified and then controlled by a fuzzy gainscheduling controller. The second servo-system, an electro-magnetic linear motor in suppressing the mechanical vibration and position tracking of a reference model are studied by using a neural network and an adaptive backstepping controller respectively. Followings are some descriptions of research methods. Electro Hydraulic Servo Systems (EHSS) are commonly used in industry. These kinds of systems are nonlinearin nature and their dynamic equations have several unknown parameters.System identification is a prerequisite to analysis of a dynamic system. One of the most promising novel evolutionary algorithms is the Differential Evolution (DE) for solving global optimization problems. In the study, the DE algorithm is proposed for handling nonlinear constraint functionswith boundary limits of variables to find the best parameters of a servo-hydraulic system with flexible load. The DE guarantees fast speed convergence and accurate solutions regardless the initial conditions of parameters. The control of hydraulic servo-systems has been the focus ofintense research over the past decades. These kinds of systems are nonlinear in nature and generally difficult to control. Since changing system parameters using the same gains will cause overshoot or even loss of system stability. The highly non-linear behaviour of these devices makes them ideal subjects for applying different types of sophisticated controllers. The study is concerned with a second order model reference to positioning control of a flexible load servo-hydraulic system using fuzzy gainscheduling. In the present research, to compensate the lack of dampingin a hydraulic system, an acceleration feedback was used. To compare the results, a pcontroller with feed-forward acceleration and different gains in extension and retraction is used. The design procedure for the controller and experimental results are discussed. The results suggest that using the fuzzy gain-scheduling controller decrease the error of position reference tracking. The second part of research was done on a PermanentMagnet Linear Synchronous Motor (PMLSM). In this study, a recurrent neural network compensator for suppressing mechanical vibration in PMLSM with a flexible load is studied. The linear motor is controlled by a conventional PI velocity controller, and the vibration of the flexible mechanism is suppressed by using a hybrid recurrent neural network. The differential evolution strategy and Kalman filter method are used to avoid the local minimum problem, and estimate the states of system respectively. The proposed control method is firstly designed by using non-linear simulation model built in Matlab Simulink and then implemented in practical test rig. The proposed method works satisfactorily and suppresses the vibration successfully. In the last part of research, a nonlinear load control method is developed and implemented for a PMLSM with a flexible load. The purpose of the controller is to track a flexible load to the desired position reference as fast as possible and without awkward oscillation. The control method is based on an adaptive backstepping algorithm whose stability is ensured by the Lyapunov stability theorem. The states of the system needed in the controller are estimated by using the Kalman filter. The proposed controller is implemented and tested in a linear motor test drive and responses are presented.

Älykäs sisältötuote monimediaympäristössä, case: AVO

Diplomityön teoriaosassa tutkittiin monimedian jakelukanavia ja niiden ominaisuuksia sisältöpalveluissa. Työssä esiteltiin keinoja älykkyyden lisäämiseksi monnimediasisältötuotannossa sekä tarkasteltiin sisältöpalvelujen käytettävyyttä. Työssä keskityttiin neuroverkkoteknologiaan, sen toteuttamiseen sekä ohjelmisto-agentteihin. Empiirisessä osassa tutustuttiin työministeriön AVO-ammatinvalintaohjelman toimintaan. Työssä määriteltiin Excel-taulukkoon 280 ammatin ominaisuudet, jotka pohjautuivat AVO:n 122 kysymykseen. Työministeriöstä on saatu 5115 henkilön vastaukset AVO-ammatinvalintaohjelman kysymyksiin. Tätä vastausaineistoa ja tutkimuksessa laadittua ammattitaulukkoa käytettiin neuroverkon opettamiseen. Lopuksi analysoitiin SOM-karttoja. Analyysin tarkoituksena oli tutkia laaditun ammattitaulukon oikeellisuutta ja eri ammattien sijoittumista SOM-kartalle. Tutkimus osoitti, että neuroverkkoteknologia soveltuisi uuden urasuunnittelupalvelun ydinteknologiaksi.

Keraamisten laattojen luokittelu väripiirteiden avulla

Vaikka keraamisten laattojen valmistusprosessi onkin täysin automatisoitu, viimeinen vaihe eli laaduntarkistus ja luokittelu tehdään yleensä ihmisvoimin. Automaattinen laaduntarkastus laattojen valmistuksessa voidaan perustella taloudellisuus- ja turvallisuusnäkökohtien avulla. Tämän työn tarkoituksena on kuvata tutkimusprojektia keraamisten laattojen luokittelusta erilaisten väripiirteiden avulla. Oleellisena osana tutkittiin RGB- ja spektrikuvien välistä eroa. Työn teoreettinen osuus käy läpi aiemmin aiheesta tehdyn tutkimuksen sekä antaa taustatietoa konenäöstä, hahmontunnistuksesta, luokittelijoista sekä väriteoriasta. Käytännön osan aineistona oli 25 keraamista laattaa, jotka olivat viidestä eri luokasta. Luokittelussa käytettiin apuna k:n lähimmän naapurin (k-NN) luokittelijaa sekä itseorganisoituvaa karttaa (SOM). Saatuja tuloksia verrattiin myös ihmisten tekemään luokitteluun. Neuraalilaskenta huomattiin tärkeäksi työkaluksi spektrianalyysissä. SOM:n ja spektraalisten piirteiden avulla saadut tulokset olivat lupaavia ja ainoastaan kromatisoidut RGB-piirteet olivat luokittelussa parempia kuin nämä.

Päätöspuun käyttö tutkamaalien initialisoinnissa

Suomen ilmatilaa valvotaan reaaliaikaisesti, pääasiassa ilmavalvontatutkilla. Ilmatilassa on lentokoneiden lisäksi paljon muitakin kohteita, jotka tutka havaitsee. Tutka lähettää nämä tiedot edelleen ilmavalvontajärjestelmään. Ilmavalvontajärjestelmä käsittelee tiedot, sekä lähettää ne edelleen esitysjärjestelmään. Esitysjärjestelmässä tiedot esitetään synteettisinä merkkeinä, seurantoina joista käytetään nimitystä träkki. Näiden tietojen puitteissa sekä oman ammattitaitonsa perusteella ihmiset tekevät päätöksiä. Tämän työn tarkoituksena on tutkia tutkan havaintoja träkkien initialisointipisteessä siten, että voitaisiin määritellä tyypillinen rakenne sille mikä on oikea ja mikä väärä tai huono träkki. Tämän lisäksi tulisi ennustaa, mitkä Irakeista eivät aiheudu ilma- aluksista. Saadut tulokset voivat helpottaa työtä havaintojen tulkinnassa - jokainen lintuparvi ei ole ehdokas seurannaksi. Havaintojen luokittelu voidaan tehdä joko neurolaskennalla tai päätöspuulla. Neurolaskenta tehdään neuroverkoilla, jotka koostuvat neuroneista. Päätöspuu- luokittelijat ovat oppivia tietorakenteita kuten neuroverkotkin. Yleisin päätöpuu on binääripuu. Tämän työn tavoitteena on opettaa päätöspuuluokittelija havaintojen avulla siten, että se pystyy luokittelemaan väärät havainnot oikeista. Neurolaskennan mahdollisuuksia tässä työssä ei käsitellä kuin teoreettisesti. Työn tuloksena voi todeta, että päätöspuuluokittelijat ovat erittäin kykeneviä erottamaan oikeat havainnot vääristä. Vaikka tulokset olivat rohkaiseva, lisää tutkimusta tarvitaan määrittelemään luotettavammin tekijät, jotka parhaiten suorittavat luokittelun.

Sekoitusprosessin laadunvalvonnan suunnittelu

Nokian Renkaat Oyj:ssä on suuntaus päivittäin valmistettavien kumisekoitusten määrien lisäämiseen. Sekoitusmäärien kasvaessa myös laadunvalvontamittauksien kapasiteettia pitää nostaa tai vaihtoehtoisesti vähentää näytteiden tutkimiseen kuluvaa aikaa tai tutkittavien näytteiden määrää. On mietitty, voitaisiinko näytteenottopaikkaa vaihtamalla saada edustavampi näyte. Aikaistamalla näytteenottopaikkaa näytteet saataisiin tutkittua aikaisemmin ja siten sekoitukset saataisiin käyttöön entistä nopeammin. Teoriaosassa käsitellään kumisekoitusprosessia ja tutustutaan käytettävään prosessilaitteistoon ja prosessin eri vaiheisiin. Lisäksi tutustutaan prosessin ohjaukseen, prosessimittauksiin, prosessin säätöihin ja hälytyksiin. Työssä käsitellään myös laatuun vaikuttavia tekijöitä ja perehdytään käytössä oleviin laadunvalvontamittauksiin ja näytteiden analysointiin. Kokeellisessa osassa tutkitaan, mikä olisi paras näytteenottokohta, mietitään mittausten ja mittausajan vähentämisen vaikutuksia sekä sitä, miten näytteet tulisi merkitä. Lisäksi kokeellisessa osassa tehdään neuroverkkomalli viskositeetin ennustamiseksi.

Moottoripolttoaineiden ominaisuuksien mallintaminen

Työn tavoitteena on selvittää voidaanko neuroverkkoa käyttää mallintamaan ja ennustamaan polttoaineen vaikutusta nykyaikaisen auton päästöihin. Näin pystyttäisiin vähentämään aikaa vievien ja kalliiden koeajojen tarvetta. Työ tehtiin Lappeenrannan teknillisen yliopiston ja Fortum Oy:n yhteistyöprojektissa. Työssä tehtiin kolme erilaista mallia. Ensimmäisenä tehtiin autokohtainen malli, jolla pyrittiin ennustamaan autokohtaista käyttäytymistä. Toiseksi kokeiltiin mallia, jossa automalli oli yhtenä syötteenä. Kolmantena yritettiin kiertää eräitä aineiston ongelmia käyttämällä "sumeutettuja" polttoaineiden koostumuksia. Työssä käytettiin MLP-neuroverkkoa, joka opetettiin backpropagation algoritmilla. Työssä havaittiin ettei käytettävissä olleella aineistolla ja käytetyillä malleilla pystytä riittävällä tarkkuudella mallintamaan polttoaineen vaikutusta päästöihin. Aineiston ongelmia olivat mm. suuret mittausvarianssit, aineiston pieni määrä sekä aineiston soveltumattomuus neuroverkolla mallintamiseen.