Combining Near-Field and Far-Field Microscopy: A new method for nanoscale super-resolution imaging

Lähikenttä- ja kaukokenttämikroskopian yhdistäminen: Uusi korkearesoluutioinen menetelmä nanokuvantamiseen. Osteoporoosi on sairaus, jossa luun uudistumisprosessi ei ole enää tasapainossa. Uuden luun muodostuminen on hitaampaa johtuen osteoblastien laskeneesta aktiivisuudesta. Yksi keino estää osteoporoosin syntyä on estää osteoklastien sitoutuminen luun pinnalle, jolloin ne eivät aloita luun syömisprosessia. Tämän Pro gradu -tutkielman tarkoituksena on luoda uusi työkalu osteoklastien sitoutumisen tutkimiseen samanaikaisesti fluoresenssi- ja atomivoimamikroskoopilla. Tätä tarkoitusta varten yhdistettiin atomivoimamikroskooppi sekä STED mikroskooppi. Kirjallisuuskatsauksessa käydään läpi yksityiskohtaisesti molempien mikroskooppitekniikoiden teoriat. Kokeellisessa osiossa esitetään käytetyt metodit ja alustavat tulokset uudella systeemillä. Lisäksi keskustellaan lyhyesti kuvan analysoinnista ImageJohjelmalla. Konfokaalisen fluoresenssimikroskoopin ja atomivoimamikroskoopin yhdistelmä on keksitty jo aikaisemmin, mutta tavallisen konfokaalimikroskoopin erottelukyvyn raja on noin 200 nanometriä johtuen valon diffraktioluonteesta. Yksityiskohdat eivät erotu, jos ne ovat pienempiä kuin puolet käytettävästä aallonpituudesta. STED mikroskooppi mahdollistaa fluoresenssikuvien taltioimisen solunsisäisistä prosesseista 50 nanometrin lateraalisella erotuskyvyllä ja atomivoimamikroskooppi antaa topografista tietoa näytteestä nanometrien erotuskyvyllä. Biologisia näytteitä kuvannettaessa atomivoimamikroskoopin erotuskyky kuitenkin huononee ja yleensä saavutetaan 30-50 nanometrin erotuskyky. Kuvien kerrostaminen vaatii vertauspisteitä ja tätä varten käytettiin atomivoimamikroskoopin kärjen tunnistamista ja referenssipartikkeleita. Kuva-analysointi suoritettiin ImageJ-kuvankäsittelyohjelmalla. Tuloksista nähdään, että referenssipartikkelit ovat hyviä, mutta niiden sijoittaminen tarkasti tietylle kohdealueelle on hankalaa nanoskaalassa. Tästä johtuen kärjen havaitseminen fluoresenssikuvassa on parempi metodi. Atomivoimamikroskoopin kärki voidaan päällystää fluoresoivalla aineella, mutta tämä lisää kärjen aiheuttamaa konvoluutiota mittausdataan. Myös valon takaisinsirontaa kärjestä voidaan tutkia, jolloin konvoluutio ei lisäänny. Ensimmäisten kuvien kerrostamisessa käytettiin hyväksi fluoresoivalla aineella päällystettyä kärkeä ja lopputuloksessa oli vain 50 nanometrin yhteensopimattomuus fluoresenssi- ja topografiakuvan kanssa. STED mikroskoopin avulla nähdään leimattujen proteiinien tarkat sijainnit tiettynä ajankohtana elävän solun sisällä. Samaan aikaan pystytään kuvantamaan solun fyysisiä muotoja tai mitata adheesiovoimia atomivoimamikroskoopilla. Lisäksi voidaan käyttää funktinalisoitua kärkeä, jolla voidaan laukaista signalointitapahtumia solun ja soluväliaineen välillä. Sitoutuminen soluväliaineeseen voidaan rekisteröidä samoin kuin adheesiomediaattorien sijainnit sitoutumisalueella. Nämä dynaamiset havainnot tuottavat uutta informaatiota solun signaloinnista, kun osteoklasti kiinnittyy luun pintaan. Tämä teknologia tarjoaa uuden näkökulman monimutkaisiin signalointiprosesseihin nanoskaalassa ja tulee ratkaisemaan lukemattoman määrän biologisia ongelmia.

Development of 3D super-resolution tomographic STED microscopy and its application to studies on bone resorption

In this doctoral thesis, a tomographic STED microscopy technique for 3D super-resolution imaging was developed and utilized to observebone remodeling processes. To improve upon existing methods, wehave used a tomographic approach using a commercially available stimulated emission depletion (STED) microscope. A certain region of interest (ROI) was observed at two oblique angles: one at a standard inverted configuration from below (bottom view) and another from the side (side view) via a micro-mirror positioned close to the ROI. The two viewing angles were reconstructed into a final tomogram. The technique, named as tomographic STED microscopy, was able to achieve an axial resolution of approximately 70 nm on microtubule structures in a fixed biological specimen. High resolution imaging of osteoclasts (OCs) that are actively resorbing bone was achieved by creating an optically transparent coating on a microscope coverglass that imitates a fractured bone surface. 2D super-resolution STED microscopy on the bone layer showed approximately 60 nm of lateral resolution on a resorption associated organelle allowing these structures to be imaged with super-resolution microscopy for the first time. The developed tomographic STED microscopy technique was further applied to study resorption mechanisms of OCs cultured on the bone coating. The technique revealed actin cytoskeleton with specific structures, comet-tails, some of which were facing upwards and some others were facing downwards. This, in our opinion, indicated that during bone resorption, an involvement of the actin cytoskeleton in vesicular exocytosis and endocytosis is present. The application of tomographic STED microscopy in bone biology demonstrated that 3D super-resolution techniques can provide new insights into biological 3D nano-structures that are beyond the diffraction-limit when the optical constraints of super-resolution imaging are carefully taken into account.

Bioimage informatics in STED super-resolution microscopy

Optical microscopy is living its renaissance. The diffraction limit, although still physically true, plays a minor role in the achievable resolution in far-field fluorescence microscopy. Super-resolution techniques enable fluorescence microscopy at nearly molecular resolution. Modern (super-resolution) microscopy methods rely strongly on software. Software tools are needed all the way from data acquisition, data storage, image reconstruction, restoration and alignment, to quantitative image analysis and image visualization. These tools play a key role in all aspects of microscopy today – and their importance in the coming years is certainly going to increase, when microscopy little-by-little transitions from single cells into more complex and even living model systems. In this thesis, a series of bioimage informatics software tools are introduced for STED super-resolution microscopy. Tomographic reconstruction software, coupled with a novel image acquisition method STED< is shown to enable axial (3D) super-resolution imaging in a standard 2D-STED microscope. Software tools are introduced for STED super-resolution correlative imaging with transmission electron microscopes or atomic force microscopes. A novel method for automatically ranking image quality within microscope image datasets is introduced, and it is utilized to for example select the best images in a STED microscope image dataset.

Local Binary Patterns in Focal-Plane Processing. Analysis and Applications

Feature extraction is the part of pattern recognition, where the sensor data is transformed into a more suitable form for the machine to interpret. The purpose of this step is also to reduce the amount of information passed to the next stages of the system, and to preserve the essential information in the view of discriminating the data into different classes. For instance, in the case of image analysis the actual image intensities are vulnerable to various environmental effects, such as lighting changes and the feature extraction can be used as means for detecting features, which are invariant to certain types of illumination changes. Finally, classification tries to make decisions based on the previously transformed data. The main focus of this thesis is on developing new methods for the embedded feature extraction based on local non-parametric image descriptors. Also, feature analysis is carried out for the selected image features. Low-level Local Binary Pattern (LBP) based features are in a main role in the analysis. In the embedded domain, the pattern recognition system must usually meet strict performance constraints, such as high speed, compact size and low power consumption. The characteristics of the final system can be seen as a trade-off between these metrics, which is largely affected by the decisions made during the implementation phase. The implementation alternatives of the LBP based feature extraction are explored in the embedded domain in the context of focal-plane vision processors. In particular, the thesis demonstrates the LBP extraction with MIPA4k massively parallel focal-plane processor IC. Also higher level processing is incorporated to this framework, by means of a framework for implementing a single chip face recognition system. Furthermore, a new method for determining optical flow based on LBPs, designed in particular to the embedded domain is presented. Inspired by some of the principles observed through the feature analysis of the Local Binary Patterns, an extension to the well known non-parametric rank transform is proposed, and its performance is evaluated in face recognition experiments with a standard dataset. Finally, an a priori model where the LBPs are seen as combinations of n-tuples is also presented