Exact Discriminant Function Design Using Some Optimization Techniques

Some aspects of design of the discriminant functions that in the best way separate points of predefined final sets are considered. The concept is introduced of the nested discriminant functions which allow to separate correctly points of any of the final sets. It is proposed to apply some methods of non-smooth optimization to solve arising extremal problems efficiently.

The Development of a Hybrid Optimization Algorithm for the Evaluation and Optimization of the Asynchronous Pulse Unit

The effectiveness of an optimization algorithm can be reduced to its ability to navigate an objective function’s topology. Hybrid optimization algorithms combine various optimization algorithms using a single meta-heuristic so that the hybrid algorithm is more robust, computationally efficient, and/or accurate than the individual algorithms it is made of. This thesis proposes a novel meta-heuristic that uses search vectors to select the constituent algorithm that is appropriate for a given objective function. The hybrid is shown to perform competitively against several existing hybrid and non-hybrid optimization algorithms over a set of three hundred test cases. This thesis also proposes a general framework for evaluating the effectiveness of hybrid optimization algorithms. Finally, this thesis presents an improved Method of Characteristics Code with novel boundary conditions, which better characterizes pipelines than previous codes. This code is coupled with the hybrid optimization algorithm in order to optimize the operation of real-world piston pumps.

Efficient and precise interactive hand tracking through joint, continuous optimization of pose and correspondences

Fully articulated hand tracking promises to enable fundamentally new interactions with virtual and augmented worlds, but the limited accuracy and efficiency of current systems has prevented widespread adoption. Today's dominant paradigm uses machine learning for initialization and recovery followed by iterative model-fitting optimization to achieve a detailed pose fit. We follow this paradigm, but make several changes to the model-fitting, namely using: (1) a more discriminative objective function; (2) a smooth-surface model that provides gradients for non-linear optimization; and (3) joint optimization over both the model pose and the correspondences between observed data points and the model surface. While each of these changes may actually increase the cost per fitting iteration, we find a compensating decrease in the number of iterations. Further, the wide basin of convergence means that fewer starting points are needed for successful model fitting. Our system runs in real-time on CPU only, which frees up the commonly over-burdened GPU for experience designers. The hand tracker is efficient enough to run on low-power devices such as tablets. We can track up to several meters from the camera to provide a large working volume for interaction, even using the noisy data from current-generation depth cameras. Quantitative assessments on standard datasets show that the new approach exceeds the state of the art in accuracy. Qualitative results take the form of live recordings of a range of interactive experiences enabled by this new approach.

Multiobjective Particle Swarm Approach for the Design of a Brushless DC Wheel Motor

The roots of swarm intelligence are deeply embedded in the biological study of self-organized behaviors in social insects. Particle swarm optimization (PSO) is one of the modern metaheuristics of swarm intelligence, which can be effectively used to solve nonlinear and non-continuous optimization problems. The basic principle of PSO algorithm is formed on the assumption that potential solutions (particles) will be flown through hyperspace with acceleration towards more optimum solutions. Each particle adjusts its flying according to the flying experiences of both itself and its companions using equations of position and velocity. During the process, the coordinates in hyperspace associated with its previous best fitness solution and the overall best value attained so far by other particles within the group are kept track and recorded in the memory. In recent years, PSO approaches have been successfully implemented to different problem domains with multiple objectives. In this paper, a multiobjective PSO approach, based on concepts of Pareto optimality, dominance, archiving external with elite particles and truncated Cauchy distribution, is proposed and applied in the design with the constraints presence of a brushless DC (Direct Current) wheel motor. Promising results in terms of convergence and spacing performance metrics indicate that the proposed multiobjective PSO scheme is capable of producing good solutions.

Compact clinical MRI magnet design using a multilayer current density approach

In this work, a new method of optimization is successfully applied to the theoretical design of compact, actively shielded, clinical MRI magnets. The problem is formulated as a two-step process in which the desired current densities on multiple, cc-axial surface layers are first calculated by solving Fredholm equations of the first kind. Non-linear optimization methods with inequality constraints are then invoked to fit practical magnet coils to the desired current densities. The current density approach allows rapid prototyping of unusual magnet designs. The emphasis of this work is on the optimal design of short, actively-shielded MRI magnets for whole-body imaging. Details of the hybrid numerical model are presented, and the model is used to investigate compact, symmetric, and asymmetric MRI magnets. Magnet designs are presented for actively-shielded, symmetric magnets of coil length 1.0 m, which is considerably shorter than currently available designs of comparable dsv size. Novel, actively-shielded, asymmetric magnet designs are also presented in which the beginning of a 50-cm dsv is positioned just 11 cm from the end of the coil structure, allowing much improved access to the patient and reduced patient claustrophobia. Magn Reson Med 45:331540, 2001. (C) 2001 Wiley-Liss, Inc.

Direct-search penalty/barrier methods

In Nonlinear Optimization Penalty and Barrier Methods are normally used to solve Constrained Problems. There are several Penalty/Barrier Methods and they are used in several areas from Engineering to Economy, through Biology, Chemistry, Physics among others. In these areas it often appears Optimization Problems in which the involved functions (objective and constraints) are non-smooth and/or their derivatives are not know. In this work some Penalty/Barrier functions are tested and compared, using in the internal process, Derivative-free, namely Direct Search, methods. This work is a part of a bigger project involving the development of an Application Programming Interface, that implements several Optimization Methods, to be used in applications that need to solve constrained and/or unconstrained Nonlinear Optimization Problems. Besides the use of it in applied mathematics research it is also to be used in engineering software packages.

Manipulator trajectory planning using a MOEA

Generating manipulator trajectories considering multiple objectives and obstacle avoidance is a non-trivial optimization problem. In this paper a multi-objective genetic algorithm based technique is proposed to address this problem. Multiple criteria are optimized considering up to five simultaneous objectives. Simulation results are presented for robots with two and three degrees of freedom, considering two and five objectives optimization. A subsequent analysis of the spread and solutions distribution along the converged non-dominated Pareto front is carried out, in terms of the achieved diversity.

DC Fuzzy Multicriteria Approach to Increase the Probability of Delivering Power in Distribution Networks

This paper proposes a methodology to increase the probability of delivering power to any load point through the identification of new investments. The methodology uses a fuzzy set approach to model the uncertainty of outage parameters, load and generation. A DC fuzzy multicriteria optimization model considering the Pareto front and based on mixed integer non-linear optimization programming is developed in order to identify the adequate investments in distribution networks components which allow increasing the probability of delivering power to all customers in the distribution network at the minimum possible cost for the system operator, while minimizing the non supplied energy cost. To illustrate the application of the proposed methodology, the paper includes a case study which considers an 33 bus distribution network.

Estudi sobre equalització electrònica per a sistemes de comunicació per fibra òptica

Estudi realitzat a partir d’una estada a Bell Labs (Lucent Technologies), New Jersey (Estats Units), entre el 15 de setembre de 2005 i el 15 de gener de 2006. Els sistemes de transmissió per fibra òptica fonamenten les principals xarxes de comunicacions. A mesura que la demanda d’ample de banda per usuari creixi, seran necessaris nous sistemes que siguin capaços de cobrir les necessitats a curt i llarg termini. La tecnologia dels sistemes òptics limita fortament la complexitat dels sistemes de transmissió / recepció en comparació, per exemple, als sistemes d’ones de ràdio. La tendència és la de dissenyar sistemes avançats amb detecció directa i mirar d’aplicar tècniques bàsiques de processat del senyal. Una d’aquestes tècniques és l’equalització electrònica, és a dir, fer ús de les tècniques de processament del senyal per tal de compensar la distorsió introduïda pel canal, deguda per una o diverses degradacions típiques: dispersió cromàtica, efectes no lineals, dispersió del mode de polarització (PMD) ... Dins d’un entorn comercial d’empresa, s’ha avaluat el funcionament dels sistemes d’equalització FFE-DFE aixi com MLSE en presència de dispersió cromàtica i/o dispersió del mode de polarització (PMD) en transmissions NRZ/RZ.

Interfaz web para mostrar los genes según las relaciones que mantienen sus expresiones

La investigació entre les relacions dels nivells d’expressió dels gens aporta molta informació sobre els processos biològics i patològics. Mitjançant la tècnica de les microarrays es possibilita la investigació de les relacions d’expressió de milers de gens a la vegada. La finalitat d’aquest projecte es fent ús de l’aplicatiu web PCOPGene-Net, permetre la identificació dels gens per les relacions d’expressió no lineals que tenen amb la resta de gens i permetre també la identificació de les relacions d’expressió no lineals entre els gens d’una microarray.

Europa als ulls dels Annales (1093-1933)

During this first third of this century, the continent of Europe witnessed far-reaching territorial transformations in the nineteenth century model. To some extent, the setting wich had inspired the epistemological structure of the French regional school was being replaced by one in which -at least to externa1 appearances- the relationship between the physical environment and human activities was much less evident. The adaptation of the theoretical and methodological context to the new Europe seems to take the form of a non-lineal evolution, for in the latter years of the period examined, evolutionary tendencies indicate a return to the more classical model. In this way, the growing interest which the publication had shown in Atlantic Europe and topics of a more economic nature, was truncated. The traditional settings --especially the Mediterranean- came to the fore again and interest in rural societies was renewed. Likewise, the monographic studies which had demonstrated distinct functional objectives in the midtwenties, recovered elements of ecological explanation, and the search for the relationship between environment and society

Jatkuvavaletun teräksen leikkaussuunnitelman optimointi

Teollisuuden tuotannon eri prosessien optimointi on hyvin ajankohtainen aihe. Monet ohjausjärjestelmät ovat ajalta, jolloin tietokoneiden laskentateho oli hyvin vaatimaton nykyisiin verrattuna. Työssä esitetään tuotantoprosessi, joka sisältää teräksen leikkaussuunnitelman muodostamisongelman. Valuprosessi on yksi teräksen valmistuksen välivaiheita. Siinä sopivaan laatuun saatettu sula teräs valetaan linjastoon, jossa se jähmettyy ja leikataan aihioiksi. Myöhemmissä vaiheissa teräsaihioista muokataan pienempiä kokonaisuuksia, tehtaan lopputuotteita. Jatkuvavaletut aihiot voidaan leikata tilauskannasta riippuen monella eri tavalla. Tätä varten tarvitaan leikkaussuunnitelma, jonka muodostamiseksi on ratkaistava sekalukuoptimointiongelma. Sekalukuoptimointiongelmat ovat optimoinnin haastavin muoto. Niitä on tutkittu yksinkertaisempiin optimointiongelmiin nähden vähän. Nykyisten tietokoneiden laskentateho on kuitenkin mahdollistanut raskaampien ja monimutkaisempien optimointialgoritmien käytön ja kehittämisen. Työssä on käytetty ja esitetty eräs stokastisen optimoinnin menetelmä, differentiaalievoluutioalgoritmi. Tässä työssä esitetään teräksen leikkausoptimointialgoritmi. Kehitetty optimointimenetelmä toimii dynaamisesti tehdasympäristössä käyttäjien määrittelemien parametrien mukaisesti. Työ on osa Syncron Tech Oy:n Ovako Bar Oy Ab:lle toimittamaa ohjausjärjestelmää.

Caracterização composicional e transesterificação de óleo de microalga: uma abordagem computacional

A procedure for compositional characterization of a microalgae oil is presented and applied to investigate a microalgae based biodiesel production process through process simulation. The methodology consists of: proposing a set of triacylglycerides (TAG) present in the oil; assuming an initial TAG composition and simulating the transesterification reaction (UNISIM Design, Honeywell) to obtain FAME characterization values (methyl ester composition); evaluating deviations of experimental from calculated values; minimizing the sum of squared deviations by a non-linear optimization algorithm, with TAG molar fractions as decision variables. Biodiesel from the characterized oil is compared to a rapeseed based biodiesel.

On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.