On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

Managing Profound Suffering at the End-of-Life: Should expanding access to continuous deep sedation be the priority?

Commentaire / Commentary

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

Studies on the Deep - Water Crab Charybdis (Goniohellenus ) Smithii Macleay From the Seas Around India

The present study deals with a general introduction which outlines the objective of the study providing an exhaustive review of works on crabs with particular reference to deep-sea forms. In the first section, Taxonomy and Geographical disribution of the crab are dealt with. The species is described in detail based on several male and female specimens obtained from the pelagic and bottom collections, and its identity in Indian waters is established. It is also distinguished from a closely allied species so far not reported from Indian waters. The second section comprises the biology of the species and it is dealt with under four subheading, namely Habit and Habitats, Reproduction, Food and feeding and Proximate composition. The different habitats occupied by juveniles, subadults and adults of the species have been described and discussed in the light of available information on differential distribution of other related species. The reproductive biology is described in various details touching on gross anatomy and histology of the reproductive systems, spermatogenesis, oogenesis, size at maturity, ovarian maturation process, fecundity, egg carriage and breeding. The food and feeding habits of the species have been studied with reference to the different life stages such as juveniles, subadults and adults during the different phases of life based on stomach content analysis. The percentage of meat recovery and protein, carbohydrate and lipid content of meat have been described in the section dealing with proximate composition. In section three the distribution and abundance of the crab for the entire Indian EEZ and some contiguous ares have been described and illustrated in detail separately for pelagic and benthic realms. The size frequency disrtibution, sex ratios, length weight relationship and relative abundance of breeding population in the experimental catches have been dealt with in detail and discussed.

Systematics, Fishery, Resource Characteristics and Bionomics of Deep Sea Prawns Off Kerala

School Of Industrial Fisheries, Cochin University of Science and Technology

Biochemical & Pharmacological evaluation of liver oils of selected deep sea sharks and chimaeras of the Indian EEZ

With a seacoast of 8,1 18 km, an exclusive economic zone (EEZ) of 2 million square km, and with an area of about 30,000 square km under aquaculture, lndia produces close to six million tonnes of fish, over 4 per cent of the world fish production. While the marine waters upto 50m depth have been fully exploited, those beyond, remain unexplored. There is an ever increasing demand for fishery resources as food. The coastal fishery resources of the country are dwindling at a rapid pace and it becomes highly imperative that we search for alternate fishery resources for food. The option we have is to hunt for marine fishery resources. Studies pertaining to proximate composition, amino acid and fatty acid composition are essential to understand the nutraceutical values of these deep sea fishery resources. The present study was aimed to carry out proximate composition of deep sea fishery resources obtained during cruises onboard the FORV Sarise Sampada, to identify fishery resources which have appreciable lipid content and thereby analyse the bioactive potentials of marine lipids, to study the amino acid profile of these fishery resources, to understand the contents of SPA, MUFA and PUFA and to calculate the n3/n6 fatty acid contents. Though the presence of nutraceuticals was identified in the marine fishery resources their use as potential food resources deserve further investigation. So the study were carried out to calculate the hepatosomatic indices of sharks & chimaeras and conduct biochemical characterisation of liver oils of Apristurus indicus, Cenlrophorus scalprams, Centroselachus crepidater, Neoharriotta raleighana, and Harriotta pinnata obtained during cruises onboard the FORV Sugar Sampada.Therapeutic use of shark liver oil is evident from its use for centuries as a remedy to heal wounds and fight flu (Neil er al. 2006). Japanese seamen called it 'samedava' or "cure all". Shark liver oil is being promoted worldwide as a dietary supplement to boost the immune system, fight infections, to treat cancer and to lessen the side effects of conventional cancer treatment. These days more emphasis is laid on the nutritive benefits of shark liver oils especially on the omega 3 polyunsaturated fatty acids ( PUFAs) (Anandan er al. 2007) and alkylglycerols (AKGs) (Pugliese er al. I998) contained in them due to the high rise of inflammatory disorders such as arthritis, asthma and neurodegenerative diseases like Alzheimer’s, Parkinson’s and Schizophrenia. So the present study also evaluate the pharmacological properties with respect to analgesic, anti-inflammatory, anti pyretic and anti-ulcer effects of four different liver oils of sharks belonging to the Indian EEZ and to identify the components of oil responsible for these activities.The analgesic and anti-inflammatory activities of liver oils from Neoharriotra raleighana (NR), Centrosymnus crepidater (CC), Apristurus indicus (AI), and Centrophorus sculpratus (CS) sharks caught from the Arabian Sea and the Indian Ocean were compared. The main objectives also include determination of the cholesterol lowering effects of liver oils of Neoharriotra raleighana (NR) and Centrophorus sculpratus (CS) on the high fat diet induced dyslipidemia and to compare the impact of four isolipidemic diets, on levels of serum diagnostic marker enzymes, on lipid profile of blood and liver and antioxidant status of heart in male Albino rats. And also to study the efficacy of Centrophorus sculpratus (CS) liver oil against Complete Freund’s Adjuvant-induced arthritis and to compare the anti-inflammatory activity of this oil with a traditionally used anti-inflammatory substance gingerol (oleoresin extracted from ginger.). The results of the present study indicated that both (Centrophorus sculpratus liver oils as well as gingerol extracts proved to be effective natural remedies against CFA-induced arthritis in Albino rats.

Systematics of properties of the electron gas in deep-etched quantum wires

An efficient method is developed for an iterative solution of the Poisson and Schro¿dinger equations, which allows systematic studies of the properties of the electron gas in linear deep-etched quantum wires. A much simpler two-dimensional (2D) approximation is developed that accurately reproduces the results of the 3D calculations. A 2D Thomas-Fermi approximation is then derived, and shown to give a good account of average properties. Further, we prove that an analytic form due to Shikin et al. is a good approximation to the electron density given by the self-consistent methods.

Distribution, diversity and biology of deep-sea fishes in the Indian EEZ

This thesis Entitled distribution ,diversity and biology of deep-sea fishes the indian Eez.Fishing rights and responsibilities it entails in the deep-sea sector has been a vexed issue since the mid-nineties and various stakeholders have different opinion on the modalities of harnessing the marine fisheries wealth, especially from the oceanic and deeper waters. The exploitation and utilization of these esources requires technology development and upgradation in harvest and post-harvest areas; besides shore infrastructure for berthing, handling, storing and processing facilities. At present, although deep-sea fishes don’t have any ready market in our country it can be converted into value added products. Many problems have so far confronted the deep-sea fishing sector not allowing it to reach its full potential. Hence, there should be a sound deep-sea fishing policy revolving round the upgradation of the capabilities of small scale fishermen, who have the inherent skills but do not have adequate support to develop themselves and to acquire vessels having the capability to operate in farther and deeper waters. Prospects for the commercial exploitation and utilization of deep-sea fishes were analyzed using SWOL analysis.

The Systematics, Distribution and Bionomics of Deep sea fishes beyond depth 200m along the South west coast of India

Reducing fishing pressure in coastal waters is the need of the day in the Indian marine fisheries sector of the country which is fast changing from a mere vocational activity to a capital intensive industry. It requires continuous monitoring of the resource exploitation through a scientifically acceptable methodology, data on production of each species stock, the number and characteristics of the fishing gears of the fleet, various biological characteristics of each stock, the impact of fishing on the environment and the role of fishery—independent on availability and abundance. Besides this, there are issues relating to capabilities in stock assessment, taxonomy research, biodiversity, conservation and fisheries management. Generation of reliable data base over a fixed time frame, their analysis and interpretation are necessary before drawing conclusions on the stock size, maximum sustainable yield, maximum economic yield and to further implement various fishing regulatory measures. India being a signatory to several treaties and conventions, is obliged to carry out assessments of the exploited stocks and manage them at sustainable levels. Besides, the nation is bound by its obligation of protein food security to people and livelihood security to those engaged in marine fishing related activities. Also, there are regional variabilities in fishing technology and fishery resources. All these make it mandatory for India to continue and strengthen its marine capture fisheries research in general and deep sea fisheries in particular. Against this background, an attempt is made to strengthen the deep sea fish biodiversity and also to generate data on the distribution, abundance, catch per unit effort of fishery resources available beyond 200 m in the EEZ of southwest coast ofIndia and also unravel some of the aspects of life history traits of potentially important non conventional fish species inhabiting in the depth beyond 200 m. This study was carried out as part of the Project on Stock Assessment and Biology of Deep Sea Fishes of Indian EEZ (MoES, Govt. of India).

A Novel Isoform of the Hepatic Antimicrobial Peptide, Hepcidin (Hepc-CB1), from a Deep-Sea Fish, the Spinyjaw Greeneye Chlorophthalmus bicornis (Norman, 1939): Molecular Characterisation and Phylogeny

Hepcidin is cysteine-rich short peptide of innate immune system of fishes, equipped to perform prevention and proliferation of invading pathogens like bacteria and viruses by limiting iron availability and activating intracellular cascades. Hepcidins are diverse in teleost fishes, due to the varied aquatic environments including exposure to pathogens, oxygenation and iron concentration. In the present study, we report a 87-amino acid (aa) preprohepcidin (Hepc-CB1) with a signal peptide of 24 aa, a prodomain of 39 aa and a bioactive mature peptide of 24 aa from the gill mRNA transcripts of the deep-sea fish spinyjaw greeneye, Chlorophthalmus bicornis. Molecular characterisation and phylogenetic analysis categorised the peptide to HAMP2-like group with a mature peptide of 2.53 kDa; a net positive charge (?3) and capacity to form b-hairpin-like structure configured by 8 conserved cysteines. The present work provides new insight into the mass gene duplication events and adaptive evolution of hepcidin isoforms with respect to environmental influences and positive Darwinian selection. This work reports a novel hepcidin isoform under the group HAMP2 from a nonacanthopterygian deep-sea fish, C. bicornis

Fishery and biology of deep-sea chondrichthyans off the southwest coast of india

Elasmobranchs comprising sharks, skates and rays have traditionally formed an important fishery along the Indian coast. Since 2000, Indian shark fishermen are shifting their fishing operations to deeper/oceanic waters by conducting multi-day fishing trips, which has resulted in considerable changes in the species composition of the landings vis- a-vis those reported during the 1980’s and 1990’s. A case study at Cochin Fisheries Harbour (CFH), southwest coast of India during 2008-09 indicated that besides the existing gillnet–cum- hooks & line and longline fishery for sharks, a targeted fishery at depths >300-1000 m for gulper sharks (Centrophorus spp.) has emerged. In 2008, the chondrichthyan landings (excluding batoids) were mainly constituted by offshore and deep-sea species such as Alopias superciliosus (24.2%), Carcharhinus limbatus (21.1%), Echinorhinus brucus (8.2%), Galeocerdo cuvier (5.4%), Centrophorus spp. (7.3%) and Neoharriotta pinnata (4.2%) while the contribution by the coastal species such as Sphyrna lewini (14.8%), Carcharhinus sorrah (1.4%) and other Carcharhinus spp. has reduced. Several deep-sea sharks previously not recorded in the landings at Cochin were also observed during 2008-09. It includes Hexanchus griseus, Deania profundorum, Zameus squamulosus and Pygmy false catshark (undescribed) which have been reported for the first time from Indian waters. Life history characteristics of the major fished species are discussed in relation to the fishery and its possible impacts on the resource

Deep-sea shrimp fishery off Kerala coast with emphasis on biology and population characteristics of Plesionika quasigrandis Chace, 1985

The present study is the first attempt to understand population characteristics of the deep-sea pandalid shrimp, P. quasigrandis and to assess the status of these resources off Kerala coast.Total mortality coefficient (Z) of P. quasigrandis estimated by various methods.Natural mortality coefficient (M) calculated was 0.65 and 1.02 by Pauly‟sempirical formula and Srinaths‟s formula respectively The deep-sea shrimp P. quasigrandis exploited from the present fishing ground and their monetary return has started showing a declining trend. By observing the current yield and economic return, there is no further scope for increasing the catch from the present fishing ground. The study indicated that majority of the deep-sea shrimp trawlers, especially targeted for pandalid shrimps still concentrated off Kollam area (Quilon Bank). Even though researchers had located several potential deep-sea fishing grounds based on exploratory surveys in Indian EEZ , fishermen are unaware of these fishing grounds located and hence sharing the information about new potential deep-sea fishing grounds could avert the possible stock decline due to the intensive targeted deep-sea shrimp fishery in the Quilon Bank. Hence, the present study recommended that part of the effort from existing fishing grounds may be shifted to newly located deep-sea fishing grounds which will help in a sustainableexploitation of deep-sea resources off Kerala coast.