A new method for locating the global optimum : application of the cutting angle method to molecular structure prediction

Many problems in chemistry depend on the ability to identify the global minimum or maximum of a function. Examples include applications in chemometrics, optimization of reaction or operating conditions, and non-linear least-squares analysis. This paper presents the results of the application of a new method of deterministic global optimization, called the cutting angle method (CAM), as applied to the prediction of molecular geometries. CAM is shown to be competitive with other global optimization techniques for several benchmark molecular conformation problem. CAM is a general method that can also be applied to other computational problems involving global minima, global maxima or finding the roots of nonlinear equations.

Bounded lower subdifferentiability optimization techniques : applications

In this article we develop a global optimization algorithm for quasiconvex programming where the objective function is a Lipschitz function which may have "flat parts". We adapt the Extended Cutting Angle method to quasiconvex functions, which reduces significantly the number of iterations and objective function evaluations, and consequently the total computing time. Applications of such an algorithm to mathematical programming problems inwhich the objective function is derived from economic systems and location problems are described. Computational results are presented.

Global and threshold-free transcriptional regulatory networks reconstruction through integrating ChIP-Chip and expression data

Inferring transcriptional regulatory networks from high-throughput biological data is a major challenge to bioinformatics today. To address this challenge, we developed TReNGO (Transcriptional Regulatory Networks reconstruction based on Global Optimization), a global and threshold-free algorithm with simulated annealing for inferring regulatory networks by the integration of ChIP-chip and expression data. Superior to existing methods, TReNGO was expected to find the optimal structure of transcriptional regulatory networks without any arbitrary thresholds or predetermined number of transcriptional modules (TMs). TReNGO was applied to both synthetic data and real yeast data in the rapamycin response. In these applications, we demonstrated an improved functional coherence of TMs and TF (transcription factor)- target predictions by TReNGO when compared to GRAM, COGRIM or to analyzing ChIP-chip data alone. We also demonstrated the ability of TReNGO to discover unexpected biological processes that TFs may be involved in and to also identify interesting novel combinations of TFs.

Derivative-free optimization and neural networks for robust regression

Large outliers break down linear and nonlinear regression models. Robust regression methods allow one to filter out the outliers when building a model. By replacing the traditional least squares criterion with the least trimmed squares (LTS) criterion, in which half of data is treated as potential outliers, one can fit accurate regression models to strongly contaminated data. High-breakdown methods have become very well established in linear regression, but have started being applied for non-linear regression only recently. In this work, we examine the problem of fitting artificial neural networks (ANNs) to contaminated data using LTS criterion. We introduce a penalized LTS criterion which prevents unnecessary removal of valid data. Training of ANNs leads to a challenging non-smooth global optimization problem. We compare the efficiency of several derivative-free optimization methods in solving it, and show that our approach identifies the outliers correctly when ANNs are used for nonlinear regression.

Search schemes for random optimization algorithms that preserve the asymptotic distribution

Markovian algorithms for estimating the global maximum or minimum of real valued functions defined on some domain Omega subset of R-d are presented. Conditions on the search schemes that preserve the asymptotic distribution are derived. Global and local search schemes satisfying these conditions are analysed and shown to yield sharper confidence intervals when compared to the i.i.d. case.

Otimização global para os problemas de redução H2 de modelos e redução H2 da ordem do controlador

A branch and bound algorithm is proposed to solve the H2-norm model reduction problem and the H2-norm controller reduction problem, with conditions assuring convergence to the global optimum in finite time. The lower and upper bounds used in the optimization procedure are obtained through linear matrix inequalities formulations. Examples illustrate the results.

Empilhamento sísmico por superfície de reflexão comum: um novo algoritmo usando otimização global e local

O método de empilhamento sísmico por Superfície de Reflexão Comum (ou empilhamento SRC) produz a simulação de seções com afastamento nulo (NA) a partir dos dados de cobertura múltipla. Para meios 2D, o operador de empilhamento SRC depende de três parâmetros que são: o ângulo de emergência do raio central com fonte-receptor nulo (β₀), o raio de curvatura da onda ponto de incidência normal (R_NIP) e o raio de curvatura da onda normal (R_N). O problema crucial para a implementação do método de empilhamento SRC consiste na determinação, a partir dos dados sísmicos, dos três parâmetros ótimos associados a cada ponto de amostragem da seção AN a ser simulada. No presente trabalho foi desenvolvido uma nova sequência de processamento para a simulação de seções AN por meio do método de empilhamento SRC. Neste novo algoritmo, a determinação dos três parâmetros ótimos que definem o operador de empilhamento SRC é realizada em três etapas: na primeira etapa são estimados dois parâmetros (β°₀ e R°_NIP) por meio de uma busca global bidimensional nos dados de cobertura múltipla. Na segunda etapa é usado o valor de β°₀ estimado para determinar-se o terceiro parâmetro (R°_N) através de uma busca global unidimensional na seção AN resultante da primeira etapa. Em ambas etapas as buscas globais são realizadas aplicando o método de otimização Simulated Annealing (SA). Na terceira etapa são determinados os três parâmetros finais (β₀, R_NIP e R_N) através uma busca local tridimensional aplicando o método de otimização Variable Metric (VM) nos dados de cobertura múltipla. Nesta última etapa é usado o trio de parâmetros (β°₀, R°_NIP, R°_N) estimado nas duas etapas anteriores como aproximação inicial. Com o propósito de simular corretamente os eventos com mergulhos conflitantes, este novo algoritmo prevê a determinação de dois trios de parâmetros associados a pontos de amostragem da seção AN onde há intersecção de eventos. Em outras palavras, nos pontos da seção AN onde dois eventos sísmicos se cruzam são determinados dois trios de parâmetros SRC, os quais serão usados conjuntamente na simulação dos eventos com mergulhos conflitantes. Para avaliar a precisão e eficiência do novo algoritmo, este foi aplicado em dados sintéticos de dois modelos: um com interfaces contínuas e outro com uma interface descontinua. As seções AN simuladas têm elevada razão sinal-ruído e mostram uma clara definição dos eventos refletidos e difratados. A comparação das seções AN simuladas com as suas similares obtidas por modelamento direto mostra uma correta simulação de reflexões e difrações. Além disso, a comparação dos valores dos três parâmetros otimizados com os seus correspondentes valores exatos calculados por modelamento direto revela também um alto grau de precisão. Usando a aproximação hiperbólica dos tempos de trânsito, porém sob a condição de R_NIP = R_N, foi desenvolvido um novo algoritmo para a simulação de seções AN contendo predominantemente campos de ondas difratados. De forma similar ao algoritmo de empilhamento SRC, este algoritmo denominado empilhamento por Superfícies de Difração Comum (SDC) também usa os métodos de otimização SA e VM para determinar a dupla de parâmetros ótimos (β₀, R_NIP) que definem o melhor operador de empilhamento SDC. Na primeira etapa utiliza-se o método de otimização SA para determinar os parâmetros iniciais β°₀ e R°_NIP usando o operador de empilhamento com grande abertura. Na segunda etapa, usando os valores estimados de β°₀ e R°_NIP, são melhorados as estimativas do parâmetro R_NIP por meio da aplicação do algoritmo VM na seção AN resultante da primeira etapa. Na terceira etapa são determinados os melhores valores de β°₀ e R°_NIP por meio da aplicação do algoritmo VM nos dados de cobertura múltipla. Vale salientar que a aparente repetição de processos tem como efeito a atenuação progressiva dos eventos refletidos. A aplicação do algoritmo de empilhamento SDC em dados sintéticos contendo campos de ondas refletidos e difratados, produz como resultado principal uma seção AN simulada contendo eventos difratados claramente definidos. Como uma aplicação direta deste resultado na interpretação de dados sísmicos, a migração pós-empilhamento em profundidade da seção AN simulada produz uma seção com a localização correta dos pontos difratores associados às descontinuidades do modelo.

Métodos de otimização global aplicados na busca dos parâmetros SRC

O método de empilhamento por Superfície de Reflexão Comum (SRC) produz seções simuladas de afastamento nulo (AN) por meio do somatório de eventos sísmicos dos dados de cobertura múltipla contidos nas superfícies de empilhamento. Este método não depende do modelo de velocidade do meio, apenas requer o conhecimento a priori da velocidade próxima a superfície. A simulação de seções AN por este método de empilhamento utiliza uma aproximação hiperbólica de segunda ordem do tempo de trânsito de raios paraxiais para definir a superfície de empilhamento ou operador de empilhamento SRC. Para meios 2D este operador depende de três atributos cinemáticos de duas ondas hipotéticas (ondas PIN e N), observados no ponto de emergência do raio central com incidência normal, que são: o ângulo de emergência do raio central com fonte-receptor nulo (β₀) , o raio de curvatura da onda ponto de incidência normal (R_PIN) e o raio de curvatura da onda normal (R_N). Portanto, o problema de otimização no método SRC consiste na determinação, a partir dos dados sísmicos, dos três parâmetros (β₀, R_PIN, R_N) ótimos associados a cada ponto de amostragem da seção AN a ser simulada. A determinação simultânea destes parâmetros pode ser realizada por meio de processos de busca global (ou otimização global) multidimensional, utilizando como função objetivo algum critério de coerência. O problema de otimização no método SRC é muito importante para o bom desempenho no que diz respeito a qualidade dos resultados e principalmente ao custo computacional, comparado com os métodos tradicionalmente utilizados na indústria sísmica. Existem várias estratégias de busca para determinar estes parâmetros baseados em buscas sistemáticas e usando algoritmos de otimização, podendo estimar apenas um parâmetro de cada vez, ou dois ou os três parâmetros simultaneamente. Levando em conta a estratégia de busca por meio da aplicação de otimização global, estes três parâmetros podem ser estimados através de dois procedimentos: no primeiro caso os três parâmetros podem ser estimados simultaneamente e no segundo caso inicialmente podem ser determinados simultaneamente dois parâmetros (β₀, R_PIN) e posteriormente o terceiro parâmetro (R_N) usando os valores dos dois parâmetros já conhecidos. Neste trabalho apresenta-se a aplicação e comparação de quatro algoritmos de otimização global para encontrar os parâmetros SRC ótimos, estes são: Simulated Annealing (SA), Very Fast Simulated Annealing (VFSA), Differential Evolution (DE) e Controlled Rando Search - 2 (CRS2). Como resultados importantes são apresentados a aplicação de cada método de otimização e a comparação entre os métodos quanto a eficácia, eficiência e confiabilidade para determinar os melhores parâmetros SRC. Posteriormente, aplicando as estratégias de busca global para a determinação destes parâmetros, por meio do método de otimização VFSA que teve o melhor desempenho foi realizado o empilhamento SRC a partir dos dados Marmousi, isto é, foi realizado um empilhamento SRC usando dois parâmetros (β₀, R_PIN) estimados por busca global e outro empilhamento SRC usando os três parâmetros (β₀, R_PIN, R_N) também estimados por busca global.

A Chaotic Approach of Differential Evolution Optimization Applied to Loudspeaker Design Problem

Over the past few years, the field of global optimization has been very active, producing different kinds of deterministic and stochastic algorithms for optimization in the continuous domain. These days, the use of evolutionary algorithms (EAs) to solve optimization problems is a common practice due to their competitive performance on complex search spaces. EAs are well known for their ability to deal with nonlinear and complex optimization problems. Differential evolution (DE) algorithms are a family of evolutionary optimization techniques that use a rather greedy and less stochastic approach to problem solving, when compared to classical evolutionary algorithms. The main idea is to construct, at each generation, for each element of the population a mutant vector, which is constructed through a specific mutation operation based on adding differences between randomly selected elements of the population to another element. Due to its simple implementation, minimum mathematical processing and good optimization capability, DE has attracted attention. This paper proposes a new approach to solve electromagnetic design problems that combines the DE algorithm with a generator of chaos sequences. This approach is tested on the design of a loudspeaker model with 17 degrees of freedom, for showing its applicability to electromagnetic problems. The results show that the DE algorithm with chaotic sequences presents better, or at least similar, results when compared to the standard DE algorithm and other evolutionary algorithms available in the literature.

Multiobjective Biogeography-Based Optimization Based on Predator-Prey Approach

Biogeography is the science that studies the geographical distribution and the migration of species in an ecosystem. Biogeography-based optimization (BBO) is a recently developed global optimization algorithm as a generalization of biogeography to evolutionary algorithm and has shown its ability to solve complex optimization problems. BBO employs a migration operator to share information between the problem solutions. The problem solutions are identified as habitat, and the sharing of features is called migration. In this paper, a multiobjective BBO, combined with a predator-prey (PPBBO) approach, is proposed and validated in the constrained design of a brushless dc wheel motor. The results demonstrated that the proposed PPBBO approach converged to promising solutions in terms of quality and dominance when compared with the classical BBO in a multiobjective version.

Space trajectories optimization using variable-chromosome-length genetic algorithms

The problem of optimal design of a multi-gravity-assist space trajectories, with free number of deep space maneuvers (MGADSM) poses multi-modal cost functions. In the general form of the problem, the number of design variables is solution dependent. To handle global optimization problems where the number of design variables varies from one solution to another, two novel genetic-based techniques are introduced: hidden genes genetic algorithm (HGGA) and dynamic-size multiple population genetic algorithm (DSMPGA). In HGGA, a fixed length for the design variables is assigned for all solutions. Independent variables of each solution are divided into effective and ineffective (hidden) genes. Hidden genes are excluded in cost function evaluations. Full-length solutions undergo standard genetic operations. In DSMPGA, sub-populations of fixed size design spaces are randomly initialized. Standard genetic operations are carried out for a stage of generations. A new population is then created by reproduction from all members based on their relative fitness. The resulting sub-populations have different sizes from their initial sizes. The process repeats, leading to increasing the size of sub-populations of more fit solutions. Both techniques are applied to several MGADSM problems. They have the capability to determine the number of swing-bys, the planets to swing by, launch and arrival dates, and the number of deep space maneuvers as well as their locations, magnitudes, and directions in an optimal sense. The results show that solutions obtained using the developed tools match known solutions for complex case studies. The HGGA is also used to obtain the asteroids sequence and the mission structure in the global trajectory optimization competition (GTOC) problem. As an application of GA optimization to Earth orbits, the problem of visiting a set of ground sites within a constrained time frame is solved. The J2 perturbation and zonal coverage are considered to design repeated Sun-synchronous orbits. Finally, a new set of orbits, the repeated shadow track orbits (RSTO), is introduced. The orbit parameters are optimized such that the shadow of a spacecraft on the Earth visits the same locations periodically every desired number of days.

An optimization method for conceptual design in engineering systems based on high order singular value decomposition

Se presenta un nuevo método de diseño conceptual en Ingeniería Aeronáutica basado el uso de modelos reducidos, también llamados modelos sustitutos (‘surrogates’). Los ingredientes de la función objetivo se calculan para cada indiviudo mediante la utilización de modelos sustitutos asociados a las distintas disciplinas técnicas que se construyen mediante definiciones de descomposición en valores singulares de alto orden (HOSVD) e interpolaciones unidimensionales. Estos modelos sustitutos se obtienen a partir de un número limitado de cálculos CFD. Los modelos sustitutos pueden combinarse, bien con un método de optimización global de tipo algoritmo genético, o con un método local de tipo gradiente. El método resultate es flexible a la par que mucho más eficiente, computacionalmente hablando, que los modelos convencionales basados en el cálculo directo de la función objetivo, especialmente si aparecen un gran número de parámetros de diseño y/o de modelado. El método se ilustra considerando una versión simplificada del diseño conceptual de un avión. Abstract An optimization method for conceptual design in Aeronautics is presented that is based on the use of surrogate models. The various ingredients in the target function are calculated for each individual using surrogates of the associated technical disciplines that are constructed via high order singular value decomposition and one dimensional interpolation. These surrogates result from a limited number of CFD calculated snapshots. The surrogates are combined with an optimization method, which can be either a global optimization method such as a genetic algorithm or a local optimization method, such as a gradient-like method. The resulting method is both flexible and much more computationally efficient than the conventional method based on direct calculation of the target function, especially if a large number of free design parameters and/or tunablemodeling parameters are present. The method is illustrated considering a simplified version of the conceptual design of an aircraft empennage.

Dynamic weighting in Monte Carlo and optimization

Dynamic importance weighting is proposed as a Monte Carlo method that has the capability to sample relevant parts of the configuration space even in the presence of many steep energy minima. The method relies on an additional dynamic variable (the importance weight) to help the system overcome steep barriers. A non-Metropolis theory is developed for the construction of such weighted samplers. Algorithms based on this method are designed for simulation and global optimization tasks arising from multimodal sampling, neural network training, and the traveling salesman problem. Numerical tests on these problems confirm the effectiveness of the method.

Particle Swarm Optimization Based Reactive Power Dispatch for Power Networks with Distributed Generation

Reactive power is critical to the operation of the power networks on both safety aspects and economic aspects. Unreasonable distribution of the reactive power would severely affect the power quality of the power networks and increases the transmission loss. Currently, the most economical and practical approach to minimizing the real power loss remains using reactive power dispatch method. Reactive power dispatch problem is nonlinear and has both equality constraints and inequality constraints. In this thesis, PSO algorithm and MATPOWER 5.1 toolbox are applied to solve the reactive power dispatch problem. PSO is a global optimization technique that is equipped with excellent searching capability. The biggest advantage of PSO is that the efficiency of PSO is less sensitive to the complexity of the objective function. MATPOWER 5.1 is an open source MATLAB toolbox focusing on solving the power flow problems. The benefit of MATPOWER is that its code can be easily used and modified. The proposed method in this thesis minimizes the real power loss in a practical power system and determines the optimal placement of a new installed DG. IEEE 14 bus system is used to evaluate the performance. Test results show the effectiveness of the proposed method.

On stable uniqueness in linear semi-infinite optimization

This paper is intended to provide conditions for the stability of the strong uniqueness of the optimal solution of a given linear semi-infinite optimization (LSIO) problem, in the sense of maintaining the strong uniqueness property under sufficiently small perturbations of all the data. We consider LSIO problems such that the family of gradients of all the constraints is unbounded, extending earlier results of Nürnberger for continuous LSIO problems, and of Helbig and Todorov for LSIO problems with bounded set of gradients. To do this we characterize the absolutely (affinely) stable problems, i.e., those LSIO problems whose feasible set (its affine hull, respectively) remains constant under sufficiently small perturbations.