Pretraining Convolutional Neural Networks for Visual Recognition

Convolutional Neural Networks (CNN) have become the state-of-the-art methods on many large scale visual recognition tasks. For a lot of practical applications, CNN architectures have a restrictive requirement: A huge amount of labeled data are needed for training. The idea of generative pretraining is to obtain initial weights of the network by training the network in a completely unsupervised way and then fine-tune the weights for the task at hand using supervised learning. In this thesis, a general introduction to Deep Neural Networks and algorithms are given and these methods are applied to classification tasks of handwritten digits and natural images for developing unsupervised feature learning. The goal of this thesis is to find out if the effect of pretraining is damped by recent practical advances in optimization and regularization of CNN. The experimental results show that pretraining is still a substantial regularizer, however, not a necessary step in training Convolutional Neural Networks with rectified activations. On handwritten digits, the proposed pretraining model achieved a classification accuracy comparable to the state-of-the-art methods.

”Ei kaikille samalla kauhalla syötetä” Koulutulokkaiden valmiudet esi- ja alkuopettajien näkökulmasta

Esiopetuksella pyritään luomaan tasa-arvoiset lähtökohdat kouluun siirtymiselle. Esiopetuksen muuttuminen velvoittavaksi parantaa näitä lähtökohtia, koska tällöin kaikki koulutulokkaat ovat osallistuneet esiopetukseen. Esiopetuksella on suuri merkitys lapsen elämässä. Siellä lapsi saa oppia asioita leikin kautta sekä harjoitella koulussa tarvittavia taitoja, joista tärkeimpiä ovat sosiaaliset taidot ja itsesäätelyn taidot. Siirtyminen esiopetuksesta alkuopetukseen on iso askel sekä lapselle että hänen perheelleen. Helpottaakseen tämän ison askeleen ottamista, lapset käyvät tutustumassa kouluun etukäteen. Onnistuneeseen kouluun siirtymään päästään yhteistyöllä, jota tulisi tehdä niin esi- ja alkuopetuksen välillä kuin lapsen vanhempienkin kanssa. Tutkimuksen tavoitteena oli selvittää esi- ja alkuopettajien näkemyksiä koulutulokkaiden valmiuksista ja sitä, millainen esiopetus tukee näitä valmiuksia. Tutkimusta varten haastateltiin neljää lastentarhanopettajaa, jotka työskentelevät koulun yhteydessä sijaitsevissa esiopetusyksikössä ja neljää luokanopettajaa, jotka työskentelevät alkuopetuksessa. Koulutulokkaiden valmiuksia käsiteltäessä, tutkimuksessa esiin tuli erityisesti lasten sosiaaliset taidot ja itsesäätelyn taidot. Lasten tulisi kouluun tullessa pystyä tekemään tehtäviä sekä yksin että ryhmässä ja keskittymään pieniin tehtäviin. Erot lastentarhanopettajien ja alkuopetuksessa työskentelevien luokanopettajien näkemyksissä olivat melko vähäisiä. Tuloksissa esille tuli myös se, että kouluvalmiuksia tukeva esiopetus on lähtöisin lapsen omista kiinnostuksen kohteista, huomioi lapsen yksilöllisesti sekä tukee lapsen myönteisen oppimiskäsityksen muodostumista.