Dynamic Programming Approaches for Estimating and Applying Large-scale Discrete Choice Models

People go through their life making all kinds of decisions, and some of these decisions affect their demand for transportation, for example, their choices of where to live and where to work, how and when to travel and which route to take. Transport related choices are typically time dependent and characterized by large number of alternatives that can be spatially correlated. This thesis deals with models that can be used to analyze and predict discrete choices in large-scale networks. The proposed models and methods are highly relevant for, but not limited to, transport applications. We model decisions as sequences of choices within the dynamic discrete choice framework, also known as parametric Markov decision processes. Such models are known to be difficult to estimate and to apply to make predictions because dynamic programming problems need to be solved in order to compute choice probabilities. In this thesis we show that it is possible to explore the network structure and the flexibility of dynamic programming so that the dynamic discrete choice modeling approach is not only useful to model time dependent choices, but also makes it easier to model large-scale static choices. The thesis consists of seven articles containing a number of models and methods for estimating, applying and testing large-scale discrete choice models. In the following we group the contributions under three themes: route choice modeling, large-scale multivariate extreme value (MEV) model estimation and nonlinear optimization algorithms. Five articles are related to route choice modeling. We propose different dynamic discrete choice models that allow paths to be correlated based on the MEV and mixed logit models. The resulting route choice models become expensive to estimate and we deal with this challenge by proposing innovative methods that allow to reduce the estimation cost. For example, we propose a decomposition method that not only opens up for possibility of mixing, but also speeds up the estimation for simple logit models, which has implications also for traffic simulation. Moreover, we compare the utility maximization and regret minimization decision rules, and we propose a misspecification test for logit-based route choice models. The second theme is related to the estimation of static discrete choice models with large choice sets. We establish that a class of MEV models can be reformulated as dynamic discrete choice models on the networks of correlation structures. These dynamic models can then be estimated quickly using dynamic programming techniques and an efficient nonlinear optimization algorithm. Finally, the third theme focuses on structured quasi-Newton techniques for estimating discrete choice models by maximum likelihood. We examine and adapt switching methods that can be easily integrated into usual optimization algorithms (line search and trust region) to accelerate the estimation process. The proposed dynamic discrete choice models and estimation methods can be used in various discrete choice applications. In the area of big data analytics, models that can deal with large choice sets and sequential choices are important. Our research can therefore be of interest in various demand analysis applications (predictive analytics) or can be integrated with optimization models (prescriptive analytics). Furthermore, our studies indicate the potential of dynamic programming techniques in this context, even for static models, which opens up a variety of future research directions.

Critère de validation croisée pour le choix des modèles des petits domaines au niveau des unités

Ce mémoire s’intéresse à l’étude du critère de validation croisée pour le choix des modèles relatifs aux petits domaines. L’étude est limitée aux modèles de petits domaines au niveau des unités. Le modèle de base des petits domaines est introduit par Battese, Harter et Fuller en 1988. C’est un modèle de régression linéaire mixte avec une ordonnée à l’origine aléatoire. Il se compose d’un certain nombre de paramètres : le paramètre β de la partie fixe, la composante aléatoire et les variances relatives à l’erreur résiduelle. Le modèle de Battese et al. est utilisé pour prédire, lors d’une enquête, la moyenne d’une variable d’intérêt y dans chaque petit domaine en utilisant une variable auxiliaire administrative x connue sur toute la population. La méthode d’estimation consiste à utiliser une distribution normale, pour modéliser la composante résiduelle du modèle. La considération d’une dépendance résiduelle générale, c’est-à-dire autre que la loi normale donne une méthodologie plus flexible. Cette généralisation conduit à une nouvelle classe de modèles échangeables. En effet, la généralisation se situe au niveau de la modélisation de la dépendance résiduelle qui peut être soit normale (c’est le cas du modèle de Battese et al.) ou non-normale. L’objectif est de déterminer les paramètres propres aux petits domaines avec le plus de précision possible. Cet enjeu est lié au choix de la bonne dépendance résiduelle à utiliser dans le modèle. Le critère de validation croisée sera étudié à cet effet.

Évaluation de la performance des règles de gestion d'un réservoir de production hydroélectrique mises à jour à l'aide de la programmation dynamique stochastique et d'un modèle hydrologique

L’entreprise Rio Tinto effectue la gestion du système hydrique de la rivière Nechako, situé en Colombie-Britannique (Canada), à partir de règles de gestion optimisées à l’aide d’un algorithme de programmation dynamique stochastique (PDS) et de scénarios d’apports historiques. Les récents développements en recherche opérationnelle tendent à démontrer que la mise à jour des règles de gestion en mode prévisionnel permet d’améliorer la performance des règles de gestion lorsque des prévisions d’ensemble sont utilisées pour mieux cerner les incertitudes associées aux apports à venir. La modélisation hydrologique permet de suivre l’évolution d’un ensemble de processus hydrologiques qui varient dans le temps et dans l’espace (réserve de neige, humidité du sol, etc.). L’utilisation de modèles hydrologiques, en plus d’offrir la possibilité de construire des prévisions d’ensemble qui tiennent compte de l’ensemble des processus simulés, permet de suivre l’évolution de variables d’état qui peuvent être utilisées à même l’algorithme d’optimisation pour construire les probabilités de transition utiles à l’évaluation de la valeur des décisions futures. À partir d’un banc d’essais numériques dans lequel le comportement du bassin versant de la rivière Nechako est simulé à l’aide du modèle hydrologique CEQUEAU, les résultats du présent projet démontrent que la mise à jour des règles avec l’algorithme de PDS en mode prévisionnel permet une amélioration de la gestion du réservoir Nechako lorsque comparée aux règles optimisées avec l’algorithme en mode historique. Le mode prévisionnel utilisant une variable hydrologique combinant un modèle autorégressif d’ordre 5 (AR5) et la valeur maximale de l’équivalent en eau de la neige (ÉENM) a permis de réduire les déversements non-productifs et les inondations tout en maintenant des productions similaires à celles obtenues à l’aide de règles optimisées en mode historique utilisant l’ÉENM comme variable hydrologique. De plus, les résultats du projet démontrent que l’utilisation de prévisions hydrologiques d’ensemble en mode historique pour construire une variable hydrologique permettant d’émettre une prévision du volume d’apport médian pour les huit mois à venir (PVAM) ne permettait pas d’obtenir des résultats de gestion supérieurs à ceux obtenus avec la variable d’ÉENM.

Dynamic Programming Approaches for Estimating and Applying Large-scale Discrete Choice Models

People go through their life making all kinds of decisions, and some of these decisions affect their demand for transportation, for example, their choices of where to live and where to work, how and when to travel and which route to take. Transport related choices are typically time dependent and characterized by large number of alternatives that can be spatially correlated. This thesis deals with models that can be used to analyze and predict discrete choices in large-scale networks. The proposed models and methods are highly relevant for, but not limited to, transport applications. We model decisions as sequences of choices within the dynamic discrete choice framework, also known as parametric Markov decision processes. Such models are known to be difficult to estimate and to apply to make predictions because dynamic programming problems need to be solved in order to compute choice probabilities. In this thesis we show that it is possible to explore the network structure and the flexibility of dynamic programming so that the dynamic discrete choice modeling approach is not only useful to model time dependent choices, but also makes it easier to model large-scale static choices. The thesis consists of seven articles containing a number of models and methods for estimating, applying and testing large-scale discrete choice models. In the following we group the contributions under three themes: route choice modeling, large-scale multivariate extreme value (MEV) model estimation and nonlinear optimization algorithms. Five articles are related to route choice modeling. We propose different dynamic discrete choice models that allow paths to be correlated based on the MEV and mixed logit models. The resulting route choice models become expensive to estimate and we deal with this challenge by proposing innovative methods that allow to reduce the estimation cost. For example, we propose a decomposition method that not only opens up for possibility of mixing, but also speeds up the estimation for simple logit models, which has implications also for traffic simulation. Moreover, we compare the utility maximization and regret minimization decision rules, and we propose a misspecification test for logit-based route choice models. The second theme is related to the estimation of static discrete choice models with large choice sets. We establish that a class of MEV models can be reformulated as dynamic discrete choice models on the networks of correlation structures. These dynamic models can then be estimated quickly using dynamic programming techniques and an efficient nonlinear optimization algorithm. Finally, the third theme focuses on structured quasi-Newton techniques for estimating discrete choice models by maximum likelihood. We examine and adapt switching methods that can be easily integrated into usual optimization algorithms (line search and trust region) to accelerate the estimation process. The proposed dynamic discrete choice models and estimation methods can be used in various discrete choice applications. In the area of big data analytics, models that can deal with large choice sets and sequential choices are important. Our research can therefore be of interest in various demand analysis applications (predictive analytics) or can be integrated with optimization models (prescriptive analytics). Furthermore, our studies indicate the potential of dynamic programming techniques in this context, even for static models, which opens up a variety of future research directions.

Incertitudes des méthodes d’évaluation « eaux littorales » : utilisation de modèles linéaires dynamiques pour l’évaluation des incertitudes (chlorophylle a, phytoplancton)

L’incertitude associée à une mesure a pour origine d’une part la variabilité environnementale et d’autre part l’ensemble du processus d’acquisition depuis le prélèvement jusqu’à la saisie de la donnée dans une base. L’estimation de l'ensemble de cette variabilité est un exercice complexe à réaliser dans le cadre d’un plan d’expérience. En revanche, les séries temporelles présentent la caractéristique d’intégrer toutes les variabilités et ainsi l’analyse de ces séries en terme de signal et bruit doit permettre de quantifier l’amplitude des incertitudes. Toutefois, les séries temporelles d’observation présentent un ensemble de caractéristiques les rendant difficiles à analyser. Les modèles linaires dynamiques constituent une approche adaptée à ces données particulières en faisant l’hypothèse de paramètres variables dans le temps. Ainsi, l’objet du présent travail consiste à estimer les variances liées au processus d’observation à l’aide de modèles linéaires dynamiques. Plus particulièrement, les mesures considérées sont la chlorophylle a et l’abondance phytoplanctonique aux lieux de surveillance REPHY « Arcachon-Bouée- 7 » et « Teychan bis ». Les résultats montrent que pour la chlorophylle a, la variabilité d’observation est responsable de l’ordre de 80 % de la variabilité totale. Pour l’abondance phytoplanctonique, elle est également de 80 % à « Arcachon-Bouée 7 » mais de l’ordre de 70 % à « Teychan bis ». Ainsi la part de « bruit » est liée au lieu et au paramètre considéré. Exprimée en pourcentage de la médiane de la chlorophylle a, la variance d’observation place les bornes de l’intervalle de confiance à 95 % des observations à des valeurs de l’ordre de -40 % et +120 % de la médiane, l’intervalle étant sous estimé car ne prenant pas en compte la variabilité structurelle. Pour l’abondance phytoplanctonique en log10 cell./L, les ordres de grandeur correspondant en pourcentage de la moyenne sont de ± 13.5 %. Pour les deux paramètres, ces valeurs sont compatibles avec l’expérience des experts. Ainsi, l’approche mise en oeuvre s’est avérée riche d’enseignements en matière d’incertitude de mesure et les nombreuses améliorations méthodologiques envisagées ouvrent des perspectives fécondes à tout point de vue.

Gestion des matières résiduelles dans les écoquartiers

Dans un monde où plus de la moitié de la population demeure désormais en milieu urbain, et où les villes exercent une pression toujours plus importante sur les ressources naturelles et les écosystèmes, il est plus que jamais essentiel de remplacer les modes traditionnels d’urbanisation par de nouvelles pratiques axées sur le développement durable. C’est dans ce contexte qu’ont émergé les premiers écoquartiers en Europe, puis en Amérique du Nord, au cours des dernières décennies. Le Québec accuse un certain retard en ce qui concerne le développement de ce type de quartiers durables, notamment axés sur une gestion plus efficiente et environnementalement responsable des matières résiduelles. Avec l’aide des outils législatifs et politiques en vigueur, la mise en place de nouveaux écoquartiers constitue une occasion d’optimiser la gestion des matières résiduelles dans la province, tout en assurant un développement urbain respectueux des principes du développement durable. La mise en oeuvre de pratiques de gestion des matières résiduelles inspirées d’exemples européens et nord-américains faciliterait aussi le développement de nouveaux projets d’écoquartiers au Québec. C’est dans ce contexte que s’inscrit l’objectif principal du présent essai, soit de proposer des modèles européens et nord-américains de gestion des matières résiduelles, afin de les intégrer aux projets d’écoquartiers actuels et futurs au Québec. Les cinq écoquartiers retenus en guise de modèles parmi les douze analysés ont, à l’instar des autres, obtenu une performance environnementale élevée; cependant, c’est leur application fructueuse des sphères économique et sociale du développement durable qui leur ont permis de se démarquer, notamment en ce qui concerne le niveau d’implication citoyenne dans ces quartiers. La transférabilité des pratiques de gestion des matières résiduelles de ces modèles, soit Augustenborg, BedZED, EVA-Lanxmeer, Hammarby Sjöstad et Kronsberg, dans le contexte québécois a été évaluée. Les pratiques retenues, au nombre de trois par écoquartier, semblent généralement transférables au Québec sans que des modifications majeures ne soient nécessaires. Néanmoins, certaines de ces pratiques, dont la tenue de réunions citoyennes de planification environnementale analogues à celles d’EVA-Lanxmeer, nécessitent un changement de mentalité important de la part de la population et des décideurs politiques, ce qui risque d’en compliquer ou retarder l’application. D’autres pratiques nécessiteraient certains investissements en matière d’infrastructures ou de formation. En fin de compte, ces pratiques et les recommandations formulées en conclusion de l’essai constituent autant d’opportunités de développer une gestion des matières résiduelles plus efficace et durable au Québec, en autant que la volonté politique et la participation citoyenne soient au rendez-vous.

Volatile compounds in the thermoplastic extrusion of bovine rumen

The volatile compounds of raw and extruded bovine rumen, extracted by dynamic headspace, were separated by gas chromatography and analyzed by GC-MS. Raw and extruded materials presented thirty-two volatile compounds. The following compounds were identified in raw bovine rumen: heptane, 1-heptene, 4-methyl-2-pentanone, toluene, hexanal, ethyl butyrate, o-xylene, m-xylene, p-xylene, heptanal, limonene, nonanal, dodecane, tridecane, tetradecane, pentadecane, hexadecane, heptadecane and octadecane. The following compounds were identified in the extruded material: 1-heptene, 2,4-dimethylhexane, toluene, limonene, undecane, tetradecane, pentadecane, hexadecane, heptadecane, octadecane and nonadecane. Mass spectra of some unidentified compounds indicated the presence of hydrocarbons with branched chains or cyclic structure.

Recovery and upgrading bovine rumen protein by extrusion: effect of lipid content on protein disulphide cross-linking, solubility and molecular weight

Bovine rumen protein with two levels of residual lipids (1.9 per cent or 3.8 per cent) was subjected to thermoplastic extrusion under different temperatures and moisture contents. Protein solubility in different buffers, disulphide cross-linking and molecular weight distribution were determined on the extrudates. After extrusion, samples with 1.9 per cent residual lipids content had a higher concentration of protein insoluble by undetermined forces, irrespective of feed moisture and processing temperature used. Lipid content of 3.8 per cent in the feed material resulted in more protein participating in the extrudate network through non-covalent interactions (hydrophobic and electrostatic) and disulphide bonds. A small dependency of the extrusion process on moisture and temperature and a marked dependency on lipid content, especially phospholipid, was observed, Electrophoresis under non-reducing conditions showed that protein extrusion with low feed moisture promoted high molecular breakdown inside the barrel, probably due to intense shear force, and further protein aggregation at the die end

Sugarcane bagasse cellulose/HDPE composites obtained by extrusion

Natural fibers used in this study were both pre-treated and modified residues from sugarcane bagasse. Polymer of high density polyethylene (HDPE) was employed as matrix in to composites, which were prodUced by mixing high density polyethylene with cellulose (10%) and Cell/ZrO(2)center dot nH(2)O (10%), using an extruder and hydraulic press. Tensile tests showed that the Cell/ZrO(2)center dot nH(2)O (10%)/HDPE composites present better tensile strength than cellulose (10%)/HDPE composites. Cellulose agglomerations were responsible for poor adhesion between fiber and matrix in cellulose (10%)/HDPE composites. HDPF/natural fibers composites showed also lower tensile strength in comparison to the polymer. The increase in Young`s modulus is associated to fibers reinforcement. SEM analysis showed that the cellulose fibers insertion in the matrix Caused all increase of defects, which were reduced When modified cellulose fibers were Used. (C) 2008 Elsevier Ltd. All rights reserved.

Development and Characterization of L-Alanyl-L-Glutamine Containing Pellets employing Extrusion-Spheronization Method and Drying Process in Fluidized Bad Equipment.

Development and Characterization of L-Alanyl-L-Glutamine Containing Pellets employing Extrusion-Spheronization Method and Drying Process in Fluidized Bad Equipment"". In this work, five formulations of L-alanyl-L-glutamine (glutamine dipeptide) containing pellets with different drug concentration were developed and evaluated: F1 (9.07%); F2 (17.70%); F3 (27.98%); F4 (37.74%) e F5 (47.53%). Pellets were prepared by extrusion-spheronization method and, further, dried in fluidized bad equipment. The following assays were carried out with the batches obtained: granulometry, friability, true density and morphologic analysis. Between the five formulations evaluated, pellets obtained from F3 present best yield (75.80%), most uniform particle size distribution (89.67% of pellets with size in the range of 0.80 to 1.18), most high true density (2.1634 g/ml) and best aspect (1.0795 +/- 0.0410). Due to these features, pellets obtained from F3 were considered adequate to further polymeric coating process in order to produce a multiparticulate system to prolong L-alanyl-L-glutamine release.

Gastro-resistant Pellets of Didanosine obtained by Extrusion and Spheronization: Assessing the Production Process

The aim this work was develop gastro-resistant pellets of didanosine as well as study the impact on the pellets properties, regarding the way as the binder was added and drying process used. The pellets formation was accompanied by analysis of morphological parameters and didanosine dissolution. In the most cases, pellets showed diameter around 1.0 mm and shape parameters acceptable. The variations of the process did not interfere significantly in pellets size. In turn, drying in fluid bed favored the dissolution of didanosine, in contrast to binder addition on powder form that impaired. In another hand, this last resulted in the best aspect factor (about 1.1). Gastro-resistant pellets showed adequate dissolution, compatible with this type of dosage form. The variables of process studied enabled obtain pellets with characteristics of shape and dissolution just slightly different, indicating flexibility of the formulation for production of gastro-resistant pellets of didanosine.

Catecholamine release in heat-stressed Antarctic fish causes proton extrusion by the red cells

Two species of Antarctic fish were stressed by moving them from seawater at -1 degrees C to seawater at 10 degrees C and holding them for a period of 10 min. The active cryopelagic species Pagothenia borchgrevinki maintained heart rate while in the benthic species Trematomus bernacchii there was an increase in heart rate. Blood pressure did not change in either species. Both species released catecholamines into the circulation as a consequence of the stress. P. borchgrevinki released the greater amounts, having mean plasma concentrations of 177 +/- 54 nmol.l(-1) noradrenaline and 263 +/- 131 nmol.l(-1) adrenaline at 10 min. Pla.sma noradrenaline concentrations rose to 47 +/- 14 nmol.l(-1) and adrenaline to 73 +/- 28 nmol.l(-1) in T. bernacchii. Blood from P. borchgrevinki was tonometered in the presence of isoprenaline. A fall in extracellular pH suggests the presence of a Na+/H+ antiporter on the red cell membrane, the first demonstration of this in an Antarctic fish. Treatment with the beta-adrenergic antagonist drug sotalol inhibited swelling of red blood cells taken from temperature-stressed P. borchgrevinki, suggesting that the antiporter responds to endogenous catecholamines.

Experimental Surgical and Orthodontic Extrusion of Teeth in Dogs

The purpose of this study was to evaluate histologically the root surfaces of teeth submitted to orthodontic and surgical extrusion procedures in a dog model. Eighteen adult male dogs, divided into six groups of three dogs each, were used in the study Each animal underwent two procedures: rapid orthodontic extrusion and surgical extrusion of the maxillary lateral incisors. The animals were sacrificed to produce samples at 7, 14, 45, 90, 120, and 180 days after surgery for assessment of cross sections of the coronal, medial, and apical thirds of the treated teeth. At early time points, some active surface and inflammatory resorption was observed exclusively in the surgical extrusion group; however, samples collected at later times demonstrated functional repair of the resorption gaps in both groups. Ankylosis was observed as a minor event and was apparently of a transient nature in samples of the surgical extrusion group. The results demonstrate the importance of maintaining the periodontal ligament and cementum surface; both are vital for the prevention of root resorption. It may be postulated that orthodontic extrusion is more conservative and physiologic than surgical extrusion; however the results showed that function was restored in both groups. (Int J Periodontics Restorative Dent 2009;29:435-443.)

Hemin reconstitutes proton extrusion in an H+-ATPase-negative mutant of Lactococcus lactis

H+-ATPase is considered essential for growth of Lactococcus lactis. However, media containing hemin restored the aerobic growth of an H+-ATPase-negative mutant, suggesting that hemin complements proton extrusion. We show that inverted membrane vesicles prepared from hemin-grown L. lactis cells are capable of coupling NADH oxidation to proton translocation.

Flavour retention during high temperature short time extrusion cooking process: a review

Research on the stability of flavours during high temperature extrusion cooking is reviewed. The important factors that affect flavour and aroma retention during the process of extrusion are illustrated. A substantial number of flavour volatiles which are incorporated prior to extrusion are normally lost during expansion, this is because of steam distillation. Therefore, a general practice has been to introduce a flavour mix after the extrusion process. This extra operation requires a binding agent (normally oil), and may also result in a non-uniform distribution of the flavour and low oxidative stability of the flavours exposed on the surface. Therefore, the importance of encapsulated flavours, particularly the beta -cyclodextrin-flavour complex, is highlighted in this paper.