M-estimator, and D-optimality model construction using orthogonal forward regression

This correspondence introduces a new orthogonal forward regression (OFR) model identification algorithm using D-optimality for model structure selection and is based on an M-estimators of parameter estimates. M-estimator is a classical robust parameter estimation technique to tackle bad data conditions such as outliers. Computationally, The M-estimator can be derived using an iterative reweighted least squares (IRLS) algorithm. D-optimality is a model structure robustness criterion in experimental design to tackle ill-conditioning in model Structure. The orthogonal forward regression (OFR), often based on the modified Gram-Schmidt procedure, is an efficient method incorporating structure selection and parameter estimation simultaneously. The basic idea of the proposed approach is to incorporate an IRLS inner loop into the modified Gram-Schmidt procedure. In this manner, the OFR algorithm for parsimonious model structure determination is extended to bad data conditions with improved performance via the derivation of parameter M-estimators with inherent robustness to outliers. Numerical examples are included to demonstrate the effectiveness of the proposed algorithm.

Offspring size effects mediate competitive interactions in a colonial marine invertebrate

Over the past 30 years, numerous attempts to understand the relationship between offspring size and fitness have been made, and it has become clear that this critical relationship is strongly affected by environmental heterogeneity. For marine invertebrates, there has been a long-standing interest in the evolution of offspring size, but there have been very few empirical and theoretical examinations of post-metamorphic offspring size effects, and almost none have considered the effect of environmental heterogeneity on the offspring size/fitness relationship. We investigated the post-metamorphic effects of offspring size in the field for the colonial marine invertebrate Botrylloides violaceus. We also examined how the relationship between offspring size and performance was affected by three different types of intraspecific competition. We found strong and persistent effects of offspring size on survival and growth, but these effects depended on the level and type of intraspecific competition.. Generally, competition strengthened the advantages of increasing maternal investment. Interestingly, we found that offspring size determined the outcome of competitive interaction: juveniles that had more maternal investment were more likely to encroach on another juvenile's territory. This suggests that mothers have the previously unrecognized potential to influence the outcome of competitive interactions in benthic marine invertebrates. We created a simple optimality model, which utilized the data generated from our field experiments, and found that increasing intraspecific competition resulted in an increase,in predicted optimal size. Our results suggest that the relationship between offspring size and fitness is highly variable in the marine environment and strongly dependent on the density of conspecifics.

La perception du temps et sa modulation par la température chez les guêpes parasitoïdes

Les modèles d'optimalité postulent que les animaux en quête de ressources utilisent le taux de gain de valeur adaptative pour optimiser plusieurs comportements tels que la répartition du temps lors de l’exploitation d‘un agrégat et l'investissement en progénitures. Bien que la durée de plusieurs comportements doit être régulée, peu d’évidences de la perception du temps sont actuellement disponibles pour les insectes et aucune pour les guêpes parasitoïdes, et ce malgré leur importance en tant que modèles écologiques. De plus, puisque les guêpes parasitoïdes sont poïkilothermes, cette capacité pourrait être affectée par la température. Nous avons supposé que les guêpes parasitoïdes auraient la capacité de percevoir le temps, à la fois de façon prospective (mesure du temps écoulé) et rétrospective (durée d'un événement passé), afin d'optimiser les décisions liées à l'exploitation d’agrégats d’hôtes et à la reproduction. Nous avons également émis l'hypothèse que la température aurait une incidence sur la perception du temps des guêpes parasitoïdes. Pour la mesure prospective du temps, nous avons utilisé la capacité d’apprentissage associatif de Microplitis croceipes (Hymenoptera: Braconidae). Les guêpes ont été entraînées à associer une odeur à la durée d'un intervalle entre des hôtes. Après leur entraînement, elles ont été testées dans un tunnel de vol avec un choix d’odeurs. Les guêpes ont choisi majoritairement l'odeur associée à l'intervalle de temps auquel elles étaient testées. Nous avons également investigué le rôle de la dépense énergétique sur la mesure du temps. Suite à une restriction de mouvement des guêpes pendant l'intervalle de temps entre les hôtes, elles choisissaient aléatoirement dans le tunnel de vol. L'absence de dépense énergétique les aurait rendues incapables de mesurer le temps. La dépense d'énergie est donc un substitut essentiel pour mesurer le temps. Pour la mesure rétrospective du temps, nous avons utilisé le processus d'évaluation de l'hôte de Trichogramma euproctidis (Hymenoptera: Trichogrammatidae). Certains trichogrammes utilisent la durée du transit initial sur l'œuf hôte afin d’en évaluer la taille et d’ajuster le nombre d’œufs à y pondre. Nous avons augmenté artificiellement la durée de transit initiale de T. euproctidis en suspendant l'œuf hôte pour le faire paraître plus gros qu'un œuf de taille similaire. Une augmentation de la durée de transit initiale a augmenté la taille de la ponte. Ceci démontre la capacité de T. euproctidis de mesurer la durée du transit initial, et donc d’une mesure du temps rétrospective. Pour déterminer si la température modifie la mesure du temps dans les espèces poïkilothermes, nous avons utilisé le comportement d’exploitation d’agrégats d’hôtes de T. euproctidis. Les modèles d’optimalités prédisent que les guêpes devraient rester plus longtemps et quitter à un faible taux de gain de valeur adaptative suite à un déplacement de longue durée plutôt que pour un déplacement de courte durée. Nous avons testé l'impact d'un déplacement de 24 h à différentes températures sur l'exploitation d’agrégats d’hôtes. Un déplacement à température chaude augmente le temps de résidence dans l’agrégat et diminue le taux de gain de valeur adaptative au moment de quitter ; ces comportements sont associés à un trajet de longue durée. L'inverse a été observé lors d’un déplacement à une température froide. Les températures chaude et froide ont modulé la mesure du temps en accélérant ou ralentissant l'horloge biologique, faisant paraître le déplacement respectivement plus long ou plus court qu’il ne l’était réellement. Ces résultats démontrent clairement que les guêpes parasitoïdes ont la capacité de mesurer le temps, autant rétrospectivement que prospectivement. Des preuves directes de leur capacité sont maintenant disponibles pour au moins deux espèces de guêpes parasitoïdes, une composante essentielle des modèles d'optimalité. Le rôle de la dépense énergétique dans la mesure du temps a aussi été démontré. Nos résultats fournissent également la preuve de l'impact de la température sur la perception du temps chez les insectes. L'utilisation de la dépense énergétique en tant que proxy pour mesurer le temps pourrait expliquer une partie de sa thermosensibilité, puisque les guêpes parasitoïdes sont poïkilothermes. Cette mesure du temps sensible à la température pourrait affecter des stratégies de lutte biologique. Sur le terrain, au début de la journée, la température de l'air sera similaire à la température de l'air autour des plantes infestées par des parasites, alors qu'elle sera plus chaude pendant la journée. En lutte biologique augmentative, les guêpes parasitoïdes libérées resteraient plus longtemps dans les agrégats d’hôtes que celles relâchées en début de journée.

La perception du temps et sa modulation par la température chez les guêpes parasitoïdes

Les modèles d'optimalité postulent que les animaux en quête de ressources utilisent le taux de gain de valeur adaptative pour optimiser plusieurs comportements tels que la répartition du temps lors de l’exploitation d‘un agrégat et l'investissement en progénitures. Bien que la durée de plusieurs comportements doit être régulée, peu d’évidences de la perception du temps sont actuellement disponibles pour les insectes et aucune pour les guêpes parasitoïdes, et ce malgré leur importance en tant que modèles écologiques. De plus, puisque les guêpes parasitoïdes sont poïkilothermes, cette capacité pourrait être affectée par la température. Nous avons supposé que les guêpes parasitoïdes auraient la capacité de percevoir le temps, à la fois de façon prospective (mesure du temps écoulé) et rétrospective (durée d'un événement passé), afin d'optimiser les décisions liées à l'exploitation d’agrégats d’hôtes et à la reproduction. Nous avons également émis l'hypothèse que la température aurait une incidence sur la perception du temps des guêpes parasitoïdes. Pour la mesure prospective du temps, nous avons utilisé la capacité d’apprentissage associatif de Microplitis croceipes (Hymenoptera: Braconidae). Les guêpes ont été entraînées à associer une odeur à la durée d'un intervalle entre des hôtes. Après leur entraînement, elles ont été testées dans un tunnel de vol avec un choix d’odeurs. Les guêpes ont choisi majoritairement l'odeur associée à l'intervalle de temps auquel elles étaient testées. Nous avons également investigué le rôle de la dépense énergétique sur la mesure du temps. Suite à une restriction de mouvement des guêpes pendant l'intervalle de temps entre les hôtes, elles choisissaient aléatoirement dans le tunnel de vol. L'absence de dépense énergétique les aurait rendues incapables de mesurer le temps. La dépense d'énergie est donc un substitut essentiel pour mesurer le temps. Pour la mesure rétrospective du temps, nous avons utilisé le processus d'évaluation de l'hôte de Trichogramma euproctidis (Hymenoptera: Trichogrammatidae). Certains trichogrammes utilisent la durée du transit initial sur l'œuf hôte afin d’en évaluer la taille et d’ajuster le nombre d’œufs à y pondre. Nous avons augmenté artificiellement la durée de transit initiale de T. euproctidis en suspendant l'œuf hôte pour le faire paraître plus gros qu'un œuf de taille similaire. Une augmentation de la durée de transit initiale a augmenté la taille de la ponte. Ceci démontre la capacité de T. euproctidis de mesurer la durée du transit initial, et donc d’une mesure du temps rétrospective. Pour déterminer si la température modifie la mesure du temps dans les espèces poïkilothermes, nous avons utilisé le comportement d’exploitation d’agrégats d’hôtes de T. euproctidis. Les modèles d’optimalités prédisent que les guêpes devraient rester plus longtemps et quitter à un faible taux de gain de valeur adaptative suite à un déplacement de longue durée plutôt que pour un déplacement de courte durée. Nous avons testé l'impact d'un déplacement de 24 h à différentes températures sur l'exploitation d’agrégats d’hôtes. Un déplacement à température chaude augmente le temps de résidence dans l’agrégat et diminue le taux de gain de valeur adaptative au moment de quitter ; ces comportements sont associés à un trajet de longue durée. L'inverse a été observé lors d’un déplacement à une température froide. Les températures chaude et froide ont modulé la mesure du temps en accélérant ou ralentissant l'horloge biologique, faisant paraître le déplacement respectivement plus long ou plus court qu’il ne l’était réellement. Ces résultats démontrent clairement que les guêpes parasitoïdes ont la capacité de mesurer le temps, autant rétrospectivement que prospectivement. Des preuves directes de leur capacité sont maintenant disponibles pour au moins deux espèces de guêpes parasitoïdes, une composante essentielle des modèles d'optimalité. Le rôle de la dépense énergétique dans la mesure du temps a aussi été démontré. Nos résultats fournissent également la preuve de l'impact de la température sur la perception du temps chez les insectes. L'utilisation de la dépense énergétique en tant que proxy pour mesurer le temps pourrait expliquer une partie de sa thermosensibilité, puisque les guêpes parasitoïdes sont poïkilothermes. Cette mesure du temps sensible à la température pourrait affecter des stratégies de lutte biologique. Sur le terrain, au début de la journée, la température de l'air sera similaire à la température de l'air autour des plantes infestées par des parasites, alors qu'elle sera plus chaude pendant la journée. En lutte biologique augmentative, les guêpes parasitoïdes libérées resteraient plus longtemps dans les agrégats d’hôtes que celles relâchées en début de journée.

Sparse model identification using orthogonal forward regression with basis pursuit and D-optimality

An efficient model identification algorithm for a large class of linear-in-the-parameters models is introduced that simultaneously optimises the model approximation ability, sparsity and robustness. The derived model parameters in each forward regression step are initially estimated via the orthogonal least squares (OLS), followed by being tuned with a new gradient-descent learning algorithm based on the basis pursuit that minimises the l(1) norm of the parameter estimate vector. The model subset selection cost function includes a D-optimality design criterion that maximises the determinant of the design matrix of the subset to ensure model robustness and to enable the model selection procedure to automatically terminate at a sparse model. The proposed approach is based on the forward OLS algorithm using the modified Gram-Schmidt procedure. Both the parameter tuning procedure, based on basis pursuit, and the model selection criterion, based on the D-optimality that is effective in ensuring model robustness, are integrated with the forward regression. As a consequence the inherent computational efficiency associated with the conventional forward OLS approach is maintained in the proposed algorithm. Examples demonstrate the effectiveness of the new approach.

Nonlinear model structure design and construction using orthogonal least squares and D-optimality design

A very efficient learning algorithm for model subset selection is introduced based on a new composite cost function that simultaneously optimizes the model approximation ability and model robustness and adequacy. The derived model parameters are estimated via forward orthogonal least squares, but the model subset selection cost function includes a D-optimality design criterion that maximizes the determinant of the design matrix of the subset to ensure the model robustness, adequacy, and parsimony of the final model. The proposed approach is based on the forward orthogonal least square (OLS) algorithm, such that new D-optimality-based cost function is constructed based on the orthogonalization process to gain computational advantages and hence to maintain the inherent advantage of computational efficiency associated with the conventional forward OLS approach. Illustrative examples are included to demonstrate the effectiveness of the new approach.

An Improved Hybrid Model for the Generic Hoist Scheduling Problem

Peer-reviewed

On the Individual Optimality of Economic Integration

Ce document est une version antérieure du document "On the Individual Optimality of Economic Integration", nov. 2015 : http://hdl.handle.net/1866/12794

On the individual optimality of economic integration

Which countries find it optimal to form an economic union? We emphasize the risk-sharing benefits of economic integration. Consider an endowment world economy model, where international financial markets are incomplete and contracts not enforceable. A union solves both frictions among member countries. We uncover conditions on initial incomes and net foreign assets of potential union members such that forming a union is welfare-improving over standing alone in the world economy. Consistently with evidence on economic integration, unions in our model occur (i) relatively infrequently, and (ii) emerge more likely among homogeneous countries, and (iii) rich countries.

On the individual optimality of economic integration

Ce document est une version mise-à-jour du document "On the individual optimality of economic integration", mars 2011 : http://hdl.handle.net/1866/4829

Optimality analysis of Th1/Th2 immune responses during microparasite-macroparasite co-infection, with epidemiological feedbacks

Individuals are typically co-infected by a diverse community of microparasites (e.g. viruses or protozoa) and macroparasites (e.g. helminths). Vertebrates respond to these parasites differently, typically mounting T helper type 1 (Th1) responses against microparasites and Th2 responses against macroparasites. These two responses may be antagonistic such that hosts face a 'decision' of how to allocate potentially limiting resources. Such decisions at the individual host level will influence parasite abundance at the population level which, in turn, will feed back upon the individual level. We take a first step towards a complete theoretical framework by placing an analysis of optimal immune responses under microparasite-macroparasite co-infection within an epidemiological framework. We show that the optimal immune allocation is quantitatively sensitive to the shape of the trade-off curve and qualitatively sensitive to life-history traits of the host, microparasite and macroparasite. This model represents an important first step in placing optimality models of the immune response to co-infection into an epidemiological framework. Ultimately, however, a more complete framework is needed to bring together the optimal strategy at the individual level and the population-level consequences of those responses, before we can truly understand the evolution of host immune responses under parasite co-infection.

Sparse kernel density estimator using orthogonal regression based on D-optimality experimental design

A novel sparse kernel density estimator is derived based on a regression approach, which selects a very small subset of significant kernels by means of the D-optimality experimental design criterion using an orthogonal forward selection procedure. The weights of the resulting sparse kernel model are calculated using the multiplicative nonnegative quadratic programming algorithm. The proposed method is computationally attractive, in comparison with many existing kernel density estimation algorithms. Our numerical results also show that the proposed method compares favourably with other existing methods, in terms of both test accuracy and model sparsity, for constructing kernel density estimates.

Sparse multioutput radial basis function network construction using combined locally regularised orthogonal least square and D-optimality experimental design

A construction algorithm for multioutput radial basis function (RBF) network modelling is introduced by combining a locally regularised orthogonal least squares (LROLS) model selection with a D-optimality experimental design. The proposed algorithm aims to achieve maximised model robustness and sparsity via two effective and complementary approaches. The LROLS method alone is capable of producing a very parsimonious RBF network model with excellent generalisation performance. The D-optimality design criterion enhances the model efficiency and robustness. A further advantage of the combined approach is that the user only needs to specify a weighting for the D-optimality cost in the combined RBF model selecting criterion and the entire model construction procedure becomes automatic. The value of this weighting does not influence the model selection procedure critically and it can be chosen with ease from a wide range of values.

Sparse kernel regression modeling using combined locally regularized orthogonal least squares and D-optimality experimental design

The note proposes an efficient nonlinear identification algorithm by combining a locally regularized orthogonal least squares (LROLS) model selection with a D-optimality experimental design. The proposed algorithm aims to achieve maximized model robustness and sparsity via two effective and complementary approaches. The LROLS method alone is capable of producing a very parsimonious model with excellent generalization performance. The D-optimality design criterion further enhances the model efficiency and robustness. An added advantage is that the user only needs to specify a weighting for the D-optimality cost in the combined model selecting criterion and the entire model construction procedure becomes automatic. The value of this weighting does not influence the model selection procedure critically and it can be chosen with ease from a wide range of values.

A-optimality orthogonal forward regression algorithm using branch and bound

In this brief, we propose an orthogonal forward regression (OFR) algorithm based on the principles of the branch and bound (BB) and A-optimality experimental design. At each forward regression step, each candidate from a pool of candidate regressors, referred to as S, is evaluated in turn with three possible decisions: 1) one of these is selected and included into the model; 2) some of these remain in S for evaluation in the next forward regression step; and 3) the rest are permanently eliminated from S. Based on the BB principle in combination with an A-optimality composite cost function for model structure determination, a simple adaptive diagnostics test is proposed to determine the decision boundary between 2) and 3). As such the proposed algorithm can significantly reduce the computational cost in the A-optimality OFR algorithm. Numerical examples are used to demonstrate the effectiveness of the proposed algorithm.