Solving higher-dimensional continuous time stochastic control problems by value function regression

The paper develops a method to solve higher-dimensional stochasticcontrol problems in continuous time. A finite difference typeapproximation scheme is used on a coarse grid of low discrepancypoints, while the value function at intermediate points is obtainedby regression. The stability properties of the method are discussed,and applications are given to test problems of up to 10 dimensions.Accurate solutions to these problems can be obtained on a personalcomputer.

Revenue management under general discrete choice model of consumer behavior

Customer choice behavior, such as 'buy-up' and 'buy-down', is an importantphe-nomenon in a wide range of industries. Yet there are few models ormethodologies available to exploit this phenomenon within yield managementsystems. We make some progress on filling this void. Specifically, wedevelop a model of yield management in which the buyers' behavior ismodeled explicitly using a multi-nomial logit model of demand. Thecontrol problem is to decide which subset of fare classes to offer ateach point in time. The set of open fare classes then affects the purchaseprobabilities for each class. We formulate a dynamic program todetermine the optimal control policy and show that it reduces to a dynamicnested allocation policy. Thus, the optimal choice-based policy caneasily be implemented in reservation systems that use nested allocationcontrols. We also develop an estimation procedure for our model based onthe expectation-maximization (EM) method that jointly estimates arrivalrates and choice model parameters when no-purchase outcomes areunobservable. Numerical results show that this combined optimization-estimation approach may significantly improve revenue performancerelative to traditional leg-based models that do not account for choicebehavior.

On bounds for network revenue management

The Network Revenue Management problem can be formulated as a stochastic dynamic programming problem (DP or the\optimal" solution V *) whose exact solution is computationally intractable. Consequently, a number of heuristics have been proposed in the literature, the most popular of which are the deterministic linear programming (DLP) model, and a simulation based method, the randomized linear programming (RLP) model. Both methods give upper bounds on the optimal solution value (DLP and PHLP respectively). These bounds are used to provide control values that can be used in practice to make accept/deny decisions for booking requests. Recently Adelman [1] and Topaloglu [18] have proposed alternate upper bounds, the affine relaxation (AR) bound and the Lagrangian relaxation (LR) bound respectively, and showed that their bounds are tighter than the DLP bound. Tight bounds are of great interest as it appears from empirical studies and practical experience that models that give tighter bounds also lead to better controls (better in the sense that they lead to more revenue). In this paper we give tightened versions of three bounds, calling themsAR (strong Affine Relaxation), sLR (strong Lagrangian Relaxation) and sPHLP (strong Perfect Hindsight LP), and show relations between them. Speciffically, we show that the sPHLP bound is tighter than sLR bound and sAR bound is tighter than the LR bound. The techniques for deriving the sLR and sPHLP bounds can potentially be applied to other instances of weakly-coupled dynamic programming.

Ispol'zovanie metodov teorii vosstanovleniia v modeliakh optimal'nogo dobyvaniia pishchi [Restoration theory in models of optimal feeding behavior]

The method of stochastic dynamic programming is widely used in ecology of behavior, but has some imperfections because of use of temporal limits. The authors presented an alternative approach based on the methods of the theory of restoration. Suggested method uses cumulative energy reserves per time unit as a criterium, that leads to stationary cycles in the area of states. This approach allows to study the optimal feeding by analytic methods.

Non-constant discounting in finite horizon: The free terminal time case

This paper derives the HJB (Hamilton-Jacobi-Bellman) equation for sophisticated agents in a finite horizon dynamic optimization problem with non-constant discounting in a continuous setting, by using a dynamic programming approach. A simple example is used in order to illustrate the applicability of this HJB equation, by suggesting a method for constructing the subgame perfect equilibrium solution to the problem.Conditions for the observational equivalence with an associated problem with constantdiscounting are analyzed. Special attention is paid to the case of free terminal time. Strotz¿s model (an eating cake problem of a nonrenewable resource with non-constant discounting) is revisited.

Time consistent Pareto solutions in common access resource gameswith asymmetric players

In the analysis of equilibrium policies in a di erential game, if agents have different time preference rates, the cooperative (Pareto optimum) solution obtained by applying the Pontryagin's Maximum Principle becomes time inconsistent. In this work we derive a set of dynamic programming equations (in discrete and continuous time) whose solutions are time consistent equilibrium rules for N-player cooperative di erential games in which agents di er in their instantaneous utility functions and also in their discount rates of time preference. The results are applied to the study of a cake-eating problem describing the management of a common property exhaustible natural resource. The extension of the results to a simple common property renewable natural resource model in in nite horizon is also discussed.

Heterogeneous discounting in consumption-investment problems. Time consistent solutions

[cat] En aquest treball s'analitza un model estocàstic en temps continu en el que l'agent decisor descompta les utilitats instantànies i la funció final amb taxes de preferència temporal constants però diferents. En aquest context es poden modelitzar problemes en els quals, quan el temps s'acosta al moment final, la valoració de la funció final incrementa en comparació amb les utilitats instantànies. Aquest tipus d'asimetria no es pot descriure ni amb un descompte estàndard ni amb un variable. Per tal d'obtenir solucions consistents temporalment es deriva l'equació de programació dinàmica estocàstica, les solucions de la qual són equilibris Markovians. Per a aquest tipus de preferències temporals, s'estudia el model clàssic de consum i inversió (Merton, 1971) per a les funcions d'utilitat del tipus CRRA i CARA, comparant els equilibris Markovians amb les solucions inconsistents temporalment. Finalment es discuteix la introducció del temps final aleatori.

Deciding the sale of a life policy in the viatical market: Implications on individual welfare

[cat] En aquest article, es presenta un model econòmic que permet determinar la venda o no d'una pòlissa de vida (total o en part) per part d'un assegurat malalt terminal en el mercat dels viatical settlements. Aquest mercat va aparèixer a finals de la dècada dels 80 a conseqüència de l'epidèmia de la SIDA. Actualment, representa una part del mercat dels life settlements. Les pòlisses que es comercialitzen en el mercat dels viaticals són aquelles on l'assegurat és malalt terminal amb una esperança de vida de dos anys o menys. El model és discret i considera només dos períodes (anys), ja que aquesta és la vida residual màxima que contempla el mercat. L'agent posseix una riquesa inicial que ha de repartir entre consum i herència. S'introdueix en primer lloc la funció d'utilitat esperada del decisor i, utilitzant programació dinàmica, es dedueix l'estratègia que reporta una utilitat més gran (no vendre/vendre (en part) la pòlissa en el moment zero/vendre (en part) la pòlissa en el moment ú). L'òptim depèn del preu de la pòlissa venuda i de paràmetres personals de l'individu. Es troba una expressió analítica per l'estratègia òptima i es realitza un anàlisi de sensibilitat.

Non-constant discounting in finite horizon: The free terminal time case

This paper derives the HJB (Hamilton-Jacobi-Bellman) equation for sophisticated agents in a finite horizon dynamic optimization problem with non-constant discounting in a continuous setting, by using a dynamic programming approach. A simple example is used in order to illustrate the applicability of this HJB equation, by suggesting a method for constructing the subgame perfect equilibrium solution to the problem.Conditions for the observational equivalence with an associated problem with constantdiscounting are analyzed. Special attention is paid to the case of free terminal time. Strotz¿s model (an eating cake problem of a nonrenewable resource with non-constant discounting) is revisited.

Time consistent Pareto solutions in common access resource gameswith asymmetric players

In the analysis of equilibrium policies in a di erential game, if agents have different time preference rates, the cooperative (Pareto optimum) solution obtained by applying the Pontryagin's Maximum Principle becomes time inconsistent. In this work we derive a set of dynamic programming equations (in discrete and continuous time) whose solutions are time consistent equilibrium rules for N-player cooperative di erential games in which agents di er in their instantaneous utility functions and also in their discount rates of time preference. The results are applied to the study of a cake-eating problem describing the management of a common property exhaustible natural resource. The extension of the results to a simple common property renewable natural resource model in in nite horizon is also discussed.

Heterogeneous discounting in consumption-investment problems. Time consistent solutions

[cat] En aquest treball s'analitza un model estocàstic en temps continu en el que l'agent decisor descompta les utilitats instantànies i la funció final amb taxes de preferència temporal constants però diferents. En aquest context es poden modelitzar problemes en els quals, quan el temps s'acosta al moment final, la valoració de la funció final incrementa en comparació amb les utilitats instantànies. Aquest tipus d'asimetria no es pot descriure ni amb un descompte estàndard ni amb un variable. Per tal d'obtenir solucions consistents temporalment es deriva l'equació de programació dinàmica estocàstica, les solucions de la qual són equilibris Markovians. Per a aquest tipus de preferències temporals, s'estudia el model clàssic de consum i inversió (Merton, 1971) per a les funcions d'utilitat del tipus CRRA i CARA, comparant els equilibris Markovians amb les solucions inconsistents temporalment. Finalment es discuteix la introducció del temps final aleatori.

Deciding the sale of a life policy in the viatical market: Implications on individual welfare

[cat] En aquest article, es presenta un model econòmic que permet determinar la venda o no d'una pòlissa de vida (total o en part) per part d'un assegurat malalt terminal en el mercat dels viatical settlements. Aquest mercat va aparèixer a finals de la dècada dels 80 a conseqüència de l'epidèmia de la SIDA. Actualment, representa una part del mercat dels life settlements. Les pòlisses que es comercialitzen en el mercat dels viaticals són aquelles on l'assegurat és malalt terminal amb una esperança de vida de dos anys o menys. El model és discret i considera només dos períodes (anys), ja que aquesta és la vida residual màxima que contempla el mercat. L'agent posseix una riquesa inicial que ha de repartir entre consum i herència. S'introdueix en primer lloc la funció d'utilitat esperada del decisor i, utilitzant programació dinàmica, es dedueix l'estratègia que reporta una utilitat més gran (no vendre/vendre (en part) la pòlissa en el moment zero/vendre (en part) la pòlissa en el moment ú). L'òptim depèn del preu de la pòlissa venuda i de paràmetres personals de l'individu. Es troba una expressió analítica per l'estratègia òptima i es realitza un anàlisi de sensibilitat.

Statistical modeling of violin bowing parameter contours

We present a framework for modeling right-hand gestures in bowed-string instrument playing, applied to violin. Nearly non-intrusive sensing techniques allow for accurate acquisition of relevant timbre-related bowing gesture parameter cues. We model the temporal contour of bow transversal velocity, bow pressing force, and bow-bridge distance as sequences of short segments, in particular B´ezier cubic curve segments. Considering different articulations, dynamics, andcontexts, a number of note classes is defined. Gesture parameter contours of a performance database are analyzed at note-level by following a predefined grammar that dictatescharacteristics of curve segment sequences for each of the classes into consideration. Based on dynamic programming, gesture parameter contour analysis provides an optimal curve parameter vector for each note. The informationpresent in such parameter vector is enough for reconstructing original gesture parameter contours with significant fidelity. From the resulting representation vectors, weconstruct a statistical model based on Gaussian mixtures, suitable for both analysis and synthesis of bowing gesture parameter contours. We show the potential of the modelby synthesizing bowing gesture parameter contours from an annotated input score. Finally, we point out promising applicationsand developments.

Three mathematical models for bucking-to-order

Abstract

Consumption, investment and life insurance strategies with heterogeneous discounting

[cat] En aquest treball s'analitza l'efecte que comporta l'introducció de preferències inconsistents temporalment sobre les decisions òptimes de consum, inversió i compra d'assegurança de vida. En concret, es pretén recollir la creixent importància que un individu dóna a la herència que deixa i a la riquesa disponible per a la seva jubilació al llarg de la seva vida laboral. Amb aquesta finalitat, es parteix d'un model estocàstic en temps continu amb temps final aleatori, i s'introdueix el descompte heterogeni, considerant un agent amb una distribució de vida residual coneguda. Per tal d'obtenir solucions consistents temporalment es resol una equació de programació dinàmica no estàndard. Per al cas de funcions d'utilitat del tipus CRRA i CARA es troben solucions explícites. Finalment, els resultats obtinguts s'il·lustren numèricament.