Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

The berth allocation problem at port terminals : a column generation framework

Le problème d'allocation de postes d'amarrage (PAPA) est l'un des principaux problèmes de décision aux terminaux portuaires qui a été largement étudié. Dans des recherches antérieures, le PAPA a été reformulé comme étant un problème de partitionnement généralisé (PPG) et résolu en utilisant un solveur standard. Les affectations (colonnes) ont été générées a priori de manière statique et fournies comme entrée au modèle %d'optimisation. Cette méthode est capable de fournir une solution optimale au problème pour des instances de tailles moyennes. Cependant, son inconvénient principal est l'explosion du nombre d'affectations avec l'augmentation de la taille du problème, qui fait en sorte que le solveur d'optimisation se trouve à court de mémoire. Dans ce mémoire, nous nous intéressons aux limites de la reformulation PPG. Nous présentons un cadre de génération de colonnes où les affectations sont générées de manière dynamique pour résoudre les grandes instances du PAPA. Nous proposons un algorithme de génération de colonnes qui peut être facilement adapté pour résoudre toutes les variantes du PAPA en se basant sur différents attributs spatiaux et temporels. Nous avons testé notre méthode sur un modèle d'allocation dans lequel les postes d'amarrage sont considérés discrets, l'arrivée des navires est dynamique et finalement les temps de manutention dépendent des postes d'amarrage où les bateaux vont être amarrés. Les résultats expérimentaux des tests sur un ensemble d'instances artificielles indiquent que la méthode proposée permet de fournir une solution optimale ou proche de l'optimalité même pour des problème de très grandes tailles en seulement quelques minutes.

Population Ethics, Social Choice Theory, and Two problems in the Measurement of Economic Poverty

Full Text / Article complet

Optimisation du promoteur CR5 inductible au cumate.

Les produits biologiques représentent une avenue thérapeutique très prometteuse pour diverses maladies actuellement sans traitement, dont le cancer. La demande pour ces produits est donc très forte et des bioprocédés industriels efficaces et fiables doivent être mis en place pour y répondre. Le système inductible au cumate (CR5) développé par le groupe de Bernard Massie permet d’exprimer des protéines d’intérêt de façon finement régulable et à haut niveau dans les cellules CHO. Un travail d’optimisation est toutefois nécessaire afin de maximiser l’expression tout en améliorant l’étanchéité du système. Dans cette optique, diverses constructions du promoteur comportant des configurations différentes d’espacement entre ses constituants, des transactivateurs comportant des domaines d’activation différents, et une séquence opératrice synthétique ont été testées pour évaluer leur capacité à améliorer le rendement et l’étanchéité du CR5. Ainsi, un protomoteur comportant trois séquences opératrices avec six paires de bases entre chacune de ces dernières s’est montré plus efficace en termes de rendement et d’étanchéité que la configuration actuelle du CR5. De plus, une nouvelle configuration du CR5 où le transactivateur est régulé par le système inductible à la coumermycine a été étudiée et a montré une régulation très fine. Le travail d’optimisation effectué dans ce projet s’applique seulement dans le but d’optimiser un procédé dans des conditions spécifiques. Son application à d’autres lignées cellulaires et d’autres promoteurs reste à démontrer.

Multisite Research Ethics Review: Problems and Potential Solutions

Article

Analysis of Some Single and Two Commodity Inventory Problems

This thesis is devoted to the study of some stochastic models in inventories. An inventory system is a facility at which items of materials are stocked. In order to promote smooth and efficient running of business, and to provide adequate service to the customers, an inventory materials is essential for any enterprise. When uncertainty is present, inventories are used as a protection against risk of stock out. It is advantageous to procure the item before it is needed at a lower marginal cost. Again, by bulk purchasing, the advantage of price discounts can be availed. All these contribute to the formation of inventory. Maintaining inventories is a major expenditure for any organization. For each inventory, the fundamental question is how much new stock should be ordered and when should the orders are replaced. In the present study, considered several models for single and two commodity stochastic inventory problems. The thesis discusses two models. In the first model, examined the case in which the time elapsed between two consecutive demand points are independent and identically distributed with common distribution function F(.) with mean  (assumed finite) and in which demand magnitude depends only on the time elapsed since the previous demand epoch. The time between disasters has an exponential distribution with parameter . In Model II, the inter arrival time of disasters have general distribution (F.) with mean  ( ) and the quantity destructed depends on the time elapsed between disasters. Demands form compound poison processes with inter arrival times of demands having mean 1/. It deals with linearly correlated bulk demand two Commodity inventory problem, where each arrival demands a random number of items of each commodity C1 and C2, the maximum quantity demanded being a (< S1) and b(

Problems and Prospects of Tea Plantation Industry in Kerala

The overall objective of the study is to examine the problems and prospects of the tea on industry in Kerala. The specific objectives are to trace the historical evolution of the tea plantation industry in India with special reference to Kerala and to study the performance of tea plantation industry in Kerala. In order to analyse the growth performance of tea plantation industry in Kerala in a comparative perspective, growth rates for the neighbouring states of Karnataka and Tamilnadu are estimated along with the National, South Indian and North Indian estimates. Tea plantation industry is a labour intensive activity. Productivity has been low primarily because of the over aging. In all the factories visited only Black tea is produced. In factories outmoded machines which installed years ago is still used which will increase the cost of production. The major problem is high cost of production and low price realization. The workers are found to be not satisfied with their working conditions- long journey to work place, absence of resting places, latrine facilities etc. and also the problems arising from dust in the factory. At a macro level the tea plantation industry has been facing the adverse impacts of globalisation and trade liberalization. There is only one solution to this problem that is to improve the competitiveness in production of raw leaf and manufacturing of tea. Government has a very important role with specification of strict quality control

A Study of Coir Vyvasaya Co-Operative Societies in Kerala – Performance, Problems and Prospects

The present study was undertaken to evaluate the performance of Coir Vyavasaya Co-operative societies (CVCs) in Kerala. It was also intended to examine the extent of fulfillment of the objectives of Co-operativisation Scheme and the socio-economic betterment of worker members, Further the study was directed to find out the level of participation of members in the affairs of CVCs and to identify the major problems confronting the CVCs and the future prospects of the industry. The objectives of this study are to evaluate the performance of CVCs in Kerala with reference to the objectives of co-operativisation, socio-economic background of the worker members of the CVCs in the state, extent of members participation, major problems etc. Major findings of the study shows that 84% of CVCs surveyed were incurring losses, the long-term solvency position of the CVCS shows very pathetic situation, ration analysis shows and unhealthy state of affaires with respect to short-term solvency position and operating efficiency of all categories of CVS were found to be extremely poor. If CVCs are enabled to increase their quantity of production and there by the volume of business, their amount of loss can be reduced. If this is so, the societies can provide more days of employment to their work members, which will help them to earn more wages and thereby improve their economic and social conditions

Queues with retrial/self-generation of priorities /postponement of work and some related reliability problems

Application of Queueing theory in areas like Computer networking, ATM facilities, Telecommunications and to many other numerous situation made people study Queueing models extensively and it has become an ever expanding branch of applied probability. The thesis discusses Reliability of a ‘k-out-of-n system’ where the server also attends external customers when there are no failed components (main customers), under a retrial policy, which can be explained in detail. It explains the reliability of a ‘K-out-of-n-system’ where the server also attends external customers and studies a multi-server infinite capacity Queueing system where each customer arrives as ordinary but can generate into priority customer which waiting in the queue. The study gives details on a finite capacity multi-server queueing system with self-generation of priority customers and also on a single server infinite capacity retrial Queue where the customer in the orbit can generate into a priority customer and leaves the system if the server is already busy with a priority generated customer; else he is taken for service immediately. Arrival process is according to a MAP and service times follow MSP.