3D Hand Pose Estimation with Neural Networks

We propose the design of a real-time system to recognize and interprethand gestures. The acquisition devices are low cost 3D sensors. 3D hand pose will be segmented, characterized and track using growing neural gas (GNG) structure. The capacity of the system to obtain information with a high degree of freedom allows the encoding of many gestures and a very accurate motion capture. The use of hand pose models combined with motion information provide with GNG permits to deal with the problem of the hand motion representation. A natural interface applied to a virtual mirrorwriting system and to a system to estimate hand pose will be designed to demonstrate the validity of the system.

Towards a real-time 3D object recognition pipeline on mobile GPGPU computing platforms using low-cost RGB-D sensors

In this project, we propose the implementation of a 3D object recognition system which will be optimized to operate under demanding time constraints. The system must be robust so that objects can be recognized properly in poor light conditions and cluttered scenes with significant levels of occlusion. An important requirement must be met: the system must exhibit a reasonable performance running on a low power consumption mobile GPU computing platform (NVIDIA Jetson TK1) so that it can be integrated in mobile robotics systems, ambient intelligence or ambient assisted living applications. The acquisition system is based on the use of color and depth (RGB-D) data streams provided by low-cost 3D sensors like Microsoft Kinect or PrimeSense Carmine. The range of algorithms and applications to be implemented and integrated will be quite broad, ranging from the acquisition, outlier removal or filtering of the input data and the segmentation or characterization of regions of interest in the scene to the very object recognition and pose estimation. Furthermore, in order to validate the proposed system, we will create a 3D object dataset. It will be composed by a set of 3D models, reconstructed from common household objects, as well as a handful of test scenes in which those objects appear. The scenes will be characterized by different levels of occlusion, diverse distances from the elements to the sensor and variations on the pose of the target objects. The creation of this dataset implies the additional development of 3D data acquisition and 3D object reconstruction applications. The resulting system has many possible applications, ranging from mobile robot navigation and semantic scene labeling to human-computer interaction (HCI) systems based on visual information.

Dynamical Approach for Real-Time Monitoring of Agricultural Crops

In this paper, a novel approach for exploiting multitemporal remote sensing data focused on real-time monitoring of agricultural crops is presented. The methodology is defined in a dynamical system context using state-space techniques, which enables the possibility of merging past temporal information with an update for each new acquisition. The dynamic system context allows us to exploit classical tools in this domain to perform the estimation of relevant variables. A general methodology is proposed, and a particular instance is defined in this study based on polarimetric radar data to track the phenological stages of a set of crops. A model generation from empirical data through principal component analysis is presented, and an extended Kalman filter is adapted to perform phenological stage estimation. Results employing quad-pol Radarsat-2 data over three different cereals are analyzed. The potential of this methodology to retrieve vegetation variables in real time is shown.

Learning representations for Information Retrieval

La recherche d'informations s'intéresse, entre autres, à répondre à des questions comme: est-ce qu'un document est pertinent à une requête ? Est-ce que deux requêtes ou deux documents sont similaires ? Comment la similarité entre deux requêtes ou documents peut être utilisée pour améliorer l'estimation de la pertinence ? Pour donner réponse à ces questions, il est nécessaire d'associer chaque document et requête à des représentations interprétables par ordinateur. Une fois ces représentations estimées, la similarité peut correspondre, par exemple, à une distance ou une divergence qui opère dans l'espace de représentation. On admet généralement que la qualité d'une représentation a un impact direct sur l'erreur d'estimation par rapport à la vraie pertinence, jugée par un humain. Estimer de bonnes représentations des documents et des requêtes a longtemps été un problème central de la recherche d'informations. Le but de cette thèse est de proposer des nouvelles méthodes pour estimer les représentations des documents et des requêtes, la relation de pertinence entre eux et ainsi modestement avancer l'état de l'art du domaine. Nous présentons quatre articles publiés dans des conférences internationales et un article publié dans un forum d'évaluation. Les deux premiers articles concernent des méthodes qui créent l'espace de représentation selon une connaissance à priori sur les caractéristiques qui sont importantes pour la tâche à accomplir. Ceux-ci nous amènent à présenter un nouveau modèle de recherche d'informations qui diffère des modèles existants sur le plan théorique et de l'efficacité expérimentale. Les deux derniers articles marquent un changement fondamental dans l'approche de construction des représentations. Ils bénéficient notamment de l'intérêt de recherche dont les techniques d'apprentissage profond par réseaux de neurones, ou deep learning, ont fait récemment l'objet. Ces modèles d'apprentissage élicitent automatiquement les caractéristiques importantes pour la tâche demandée à partir d'une quantité importante de données. Nous nous intéressons à la modélisation des relations sémantiques entre documents et requêtes ainsi qu'entre deux ou plusieurs requêtes. Ces derniers articles marquent les premières applications de l'apprentissage de représentations par réseaux de neurones à la recherche d'informations. Les modèles proposés ont aussi produit une performance améliorée sur des collections de test standard. Nos travaux nous mènent à la conclusion générale suivante: la performance en recherche d'informations pourrait drastiquement être améliorée en se basant sur les approches d'apprentissage de représentations.

Government failure, opposition success? Electoral performance in Portugal and Italy at the time of the crisis. Jean Monnet Occasional Paper 05/2014

The costs of the crisis in Southern European countries have not been only economic but political. Economic crises tend to lead to government instability and termination while political challengers are expected to exploit this contingent window of opportunity to gain an advantage over incumbents in national elections. The current crisis seems to make no exception, looking at the results of the general elections recently held in Southern Europe. However, this did not always lead to a clear victory of the main opposition parties. In most of the elections, in fact, the incumbent parties’ loss did not coincide with the official opposition’s gain. The extreme case is represented by Italy, where both the outgoing government coalition led by Silvio Berlusconi – setting aside for the moment the technocratic phase – and its main challenger, the centre left coalition, ended up losing millions of voters and a new political force, the Five Star Movement, obtained about 25 per cent of votes. On the opposite side there is Portugal. Only in Portugal did the vote increase for the centre right PSD, in fact, exceed the incumbent socialists’ loss. The present work aims at exploring the factors which might account for this significant divergence between the two cases.

Estimation of satellite antenna phase center offsets for Galileo

Satellite antenna phase center offsets for the GalileoInOrbitValidation(IOV) and FullOperationalCapability (FOC) satellites are estimated by two different analysiscenters based on tracking data of a global GNSS network. The mean x- and y-offsets could be determined with a precision of a few centimeters. However, daily estimates of thex-offsets of the IOV satellites show pronounced systematic effects with a peak-to-peak amplitude of up to 70 cm that depend on the orbit model and the elevation of the Sun above the orbital plane. For the IOV y-offsets, no dependence on the orbit model exists but the scatter strongly depends on the elevation of the Sun above the orbital plane. In general, these systematic effects are significantly smaller for the FOC satellites. The z-offsets of the two analysis centers agree within the 10–15 cm level, and the time series do not show systematic effects. The application of an averaged Galileo satellite antenna model obtained from the two solutions results in a reduction of orbit day boundary discontinuities by up to one third—even if an independent software package is used.

Learning representations for Information Retrieval

La recherche d'informations s'intéresse, entre autres, à répondre à des questions comme: est-ce qu'un document est pertinent à une requête ? Est-ce que deux requêtes ou deux documents sont similaires ? Comment la similarité entre deux requêtes ou documents peut être utilisée pour améliorer l'estimation de la pertinence ? Pour donner réponse à ces questions, il est nécessaire d'associer chaque document et requête à des représentations interprétables par ordinateur. Une fois ces représentations estimées, la similarité peut correspondre, par exemple, à une distance ou une divergence qui opère dans l'espace de représentation. On admet généralement que la qualité d'une représentation a un impact direct sur l'erreur d'estimation par rapport à la vraie pertinence, jugée par un humain. Estimer de bonnes représentations des documents et des requêtes a longtemps été un problème central de la recherche d'informations. Le but de cette thèse est de proposer des nouvelles méthodes pour estimer les représentations des documents et des requêtes, la relation de pertinence entre eux et ainsi modestement avancer l'état de l'art du domaine. Nous présentons quatre articles publiés dans des conférences internationales et un article publié dans un forum d'évaluation. Les deux premiers articles concernent des méthodes qui créent l'espace de représentation selon une connaissance à priori sur les caractéristiques qui sont importantes pour la tâche à accomplir. Ceux-ci nous amènent à présenter un nouveau modèle de recherche d'informations qui diffère des modèles existants sur le plan théorique et de l'efficacité expérimentale. Les deux derniers articles marquent un changement fondamental dans l'approche de construction des représentations. Ils bénéficient notamment de l'intérêt de recherche dont les techniques d'apprentissage profond par réseaux de neurones, ou deep learning, ont fait récemment l'objet. Ces modèles d'apprentissage élicitent automatiquement les caractéristiques importantes pour la tâche demandée à partir d'une quantité importante de données. Nous nous intéressons à la modélisation des relations sémantiques entre documents et requêtes ainsi qu'entre deux ou plusieurs requêtes. Ces derniers articles marquent les premières applications de l'apprentissage de représentations par réseaux de neurones à la recherche d'informations. Les modèles proposés ont aussi produit une performance améliorée sur des collections de test standard. Nos travaux nous mènent à la conclusion générale suivante: la performance en recherche d'informations pourrait drastiquement être améliorée en se basant sur les approches d'apprentissage de représentations.

Extraterrestrial 3He estimation across the Paleocene-Eocene thermal maximum at ODP Site 208-1266

In the deep-sea, the Paleocene-Eocene Thermal Maximum (PETM) is often marked by clay-rich condensed intervals caused by dissolution of carbonate sediments, capped by a carbonate-rich interval. Constraining the duration of both the dissolution and subsequent cap-carbonate intervals is essential to computing marine carbon fluxes and thus testing hypotheses for the origin of this event. To this end, we provide new high-resolution helium isotope records spanning the Paleocene-Eocene boundary at ODP Site 1266 in the South Atlantic. The extraterrestrial 3He, 3HeET, concentrations replicate trends observed at ODP Site 690 by Farley and Eltgroth (2003, doi:10.1016/S0012-821X(03)00017-7). By assuming a constant flux of 3HeET we constrain relative changes in accumulation rates of sediment across the PETM and construct a new age model for the event. In this new chronology the zero carbonate layer represents 35 kyr, some of which reflects clay produced by dissolution of Paleocene (pre-PETM) sediments. Above this layer, carbonate concentrations increase for ~165 kyr and remain higher than in the latest Paleocene until 234 +48/-34 kyr above the base of the clay. The new chronology indicates that minimum d13C values persisted for a maximum of 134 +27/-19 kyr and the inflection point previously chosen to designate the end of the CIE recovery occurs at 217 +44/-31 kyr. This allocation of time differs from that of the cycle-based age model of Röhl et al. (2007, doi:10.1029/2007GC001784) in that it assigns more time to the clay layer followed by a more gradual recovery of carbonate-rich sedimentation. The new model also suggests a longer sustained d13C excursion followed by a more rapid recovery to pre-PETM d13C values. These differences have important implications for constraining the source(s) of carbon and mechanisms for its subsequent sequestration, favoring models that include a sustained release

Radiolarian-based bransfer function for the estimation of sea surface temperatures in the Southern Ocean (Atlantic Sector)

A new radiolarian-based transfer function for sea surface temperature (SST) estimations has been developed from 23 taxa and taxa groups in 53 surface sediment samples recovered between 35° and 72°S in the Atlantic sector of the Southern Ocean. For the selection of taxa and taxa groups ecological information from water column studies was considered. The transfer function allows the estimation of austral summer SST (December-March) ranging between -1 and 18°C with a standard error of estimate of 1.2°C. SST estimates from selected late Pleistocene squences were sucessfully compared with independend paleotemperature estimates derived from a diatom transfer function. This shows that radiolarians provide an excellent tool for paleotemperature reconstructions in Pleistocene sediments of the Southern Ocean.

Sea surface temperature estimation for the Iberian Margin

Centennial climate variability over the last ice age exhibits clear bipolar behavior. High-resolution analyses of marine sediment cores from the Iberian margin trace a number of associated changes simultaneously. Proxies of sea surface temperature and water mass distribution, as well as relative biomarker content, demonstrate that this typical north-south coupling was pervasive for the cold phases of climate during the past 420,000 years. Cold episodes after relatively warm and largely ice-free periods occurred when the predominance of deep water formation changed from northern to southern sources. These results reinforce the connection between rapid climate changes at Mediterranean latitudes and century-to-millennial variability in northern and southern polar regions.