Discovering promising regions to help global numerical optimization algorithms

We have developed an algorithm using a Design of Experiments technique for reduction of search-space in global optimization problems. Our approach is called Domain Optimization Algorithm. This approach can efficiently eliminate search-space regions with low probability of containing a global optimum. The Domain Optimization Algorithm approach is based on eliminating non-promising search-space regions, which are identifyed using simple models (linear) fitted to the data. Then, we run a global optimization algorithm starting its population inside the promising region. The proposed approach with this heuristic criterion of population initialization has shown relevant results for tests using hard benchmark functions.

Computational approach to localization using global energy minimization

Damage localization induced by strain softening can be predicted by the direct minimization of a global energy function. This article concerns the computational strategy for implementing this principle for softening materials such as concrete. Instead of using heuristic global optimization techniques, our strategies are a hybrid of local optimization methods with a path-finding approach to ensure a global optimum. With admissible nodal displacements being independent variables, it is easy to deal with the geometric (mesh) constraint conditions. The direct search optimization methods recover the localized solutions for a range of softening lattice models which are representative of quasi-brittle structures

Shrinking neighborhood evolution : a novel stochastic algorithm for numerical optimization

Focusing on the conditions that an optimization problem may comply with, the so-called convergence conditions have been proposed and sequentially a stochastic optimization algorithm named as DSZ algorithm is presented in order to deal with both unconstrained and constrained optimizations. The principle is discussed in the theoretical model of DSZ algorithm, from which we present the practical model of DSZ algorithm. Practical model efficiency is demonstrated by the comparison with the similar algorithms such as Enhanced simulated annealing (ESA), Monte Carlo simulated annealing (MCS), Sniffer Global Optimization (SGO), Directed Tabu Search (DTS), and Genetic Algorithm (GA), using a set of well-known unconstrained and constrained optimization test cases. Meanwhile, further attention goes to the strategies how to optimize the high-dimensional unconstrained problem using DSZ algorithm.

Rigorous finite-time guarantees for optimization on continuous domains by simulated annealing

Simulated annealing is a popular method for approaching the solution of a global optimization problem. Existing results on its performance apply to discrete combinatorial optimization where the optimization variables can assume only a finite set of possible values. We introduce a new general formulation of simulated annealing which allows one to guarantee finite-time performance in the optimization of functions of continuous variables. The results hold universally for any optimization problem on a bounded domain and establish a connection between simulated annealing and up-to-date theory of convergence of Markov chain Monte Carlo methods on continuous domains. This work is inspired by the concept of finite-time learning with known accuracy and confidence developed in statistical learning theory.

Análise global da estabilidade termodinâmica de misturas: um estudo com o método do conjunto gerador

O cálculo do equilíbrio de fases é um problema de grande importância em processos da engenharia, como, por exemplo, na separação por destilação, em processos de extração e simulação da recuperação terciária de petróleo, entre outros. Mas para resolvê-lo é aconselhável que se estude a priori a estabilidade termodinâmica do sistema, a qual consiste em determinar se uma dada mistura se apresenta em uma ou mais fases. Tal problema pode ser abordado como um problema de otimização, conhecido como a minimização da função distância do plano tangente à energia livre de Gibbs molar, onde modelos termodinâmicos, de natureza não convexa e não linear, são utilizados para descrevê-lo. Esse fato tem motivado um grande interesse em técnicas de otimização robustas e eficientes para a resolução de problemas relacionados com a termodinâmica do equilíbrio de fases. Como tem sido ressaltado na literatura, para proporcionar uma completa predição do equilíbrio de fases, faz-se necessário não apenas a determinação do minimizador global da função objetivo do teste de estabilidade, mas também a obtenção de todos os seus pontos estacionários. Assim, o desenvolvimento de metodologias para essa tarefa desafiadora tem se tornado uma nova área de pesquisa da otimização global aplicada à termodinâmica do equilíbrio, com interesses comuns na engenharia química e na engenharia do petróleo. O foco do presente trabalho é uma nova metodologia para resolver o problema do teste de estabilidade. Para isso, usa-se o chamado método do conjunto gerador para realizar buscas do tipo local em uma rede de pontos previamente gerada por buscas globais efetuadas com uma metaheurística populacional, no caso o método do enxame de partículas.Para se obter mais de um ponto estacionário, minimizam-se funções de mérito polarizadas, cujos pólos são os pontos previamente encontrados. A metodologia proposta foi testada na análise de quatorze misturas polares previamente consideradas na literatura. Os resultados mostraram que o método proposto é robusto e eficiente a ponto de encontrar, além do minimizador global, todos os pontos estacionários apontados previamente na literatura, sendo também capaz de detectar, em duas misturas ternárias estudadas, pontos estacionários não obtidos pelo chamado método de análise intervalar, uma técnica confiável e muito difundida na literatura. A análise do teste de estabilidade pela simples utilização do método do enxame de partículas associado à técnica de polarização mencionada acima, para a obtenção de mais de um ponto estacionário (sem a busca local feita pelo método do conjunto gerador em uma dada rede de pontos), constitui outra metodologia para a resolução do problema de interesse. Essa utilização é uma novidade secundária deste trabalho. Tal metodologia simplificada exibiu também uma grande robustez, sendo capaz de encontrar todos os pontos estacionários pesquisados. No entanto, quando comparada com a abordagem mais geral proposta aqui, observou-se que tal simplificação pode, em alguns casos onde a função de mérito apresenta uma geometria mais complexa, consumir um tempo de máquina relativamente grande, dessa forma é menos eficiente.

Uma dedução dos critérios de multicriticalidade e o cálculo de pontos tricríticos via otimização global

Uma dedução dos critérios de multicriticalidade para o cálculo de pontos críticos de qualquer ordem representa a formalização de ideias utilizadas para calcular pontos críticos e tricríticos e ainda amplia tais ideias. De posse desta dedução pode-se compreender os critérios de tricriticalidade e, com isso, através de uma abordagem via problema de otimização global pode-se fazer o cálculo de pontos tricríticos utilizando um método numérico adequado de otimização global. Para evitar um excesso de custo computacional com rotinas numéricas utilizou-se aproximações na forma de diferenças finitas dos termos que compõem a função objetivo. Para simular a relação P v - T optou-se pela equação de estado cúbica de Peng-Robinson e pela regra clássica de fluidos de van der Vaals, para modelagem do problema também se calculou os tensores de ordem 2, 3, 4 e 5 da função do teste de estabilidade. Os resultados obtidos foram comparados com dados experimentais e por resultados obtidos com outros autores que utilizaram métodos numéricos, equação de estado ou abordagem diferente das utilizadas neste trabalho.

Formulação teórica dos fundamentos da otimização global topográfica com análise de desempenho e aplicações à estabilidade de fases de misturas termodinâmicas

Métodos de otimização que utilizam condições de otimalidade de primeira e/ou segunda ordem são conhecidos por serem eficientes. Comumente, esses métodos iterativos são desenvolvidos e analisados à luz da análise matemática do espaço euclidiano n-dimensional, cuja natureza é de caráter local. Consequentemente, esses métodos levam a algoritmos iterativos que executam apenas as buscas locais. Assim, a aplicação de tais algoritmos para o cálculo de minimizadores globais de uma função não linear,especialmente não-convexas e multimodais, depende fortemente da localização dos pontos de partida. O método de Otimização Global Topográfico é um algoritmo de agrupamento, que utiliza uma abordagem baseada em conceitos elementares da teoria dos grafos, a fim de gerar bons pontos de partida para os métodos de busca local, a partir de pontos distribuídos de modo uniforme no interior da região viável. Este trabalho tem dois objetivos. O primeiro é realizar uma nova abordagem sobre método de Otimização Global Topográfica, onde, pela primeira vez, seus fundamentos são formalmente descritos e suas propriedades básicas são matematicamente comprovadas. Neste contexto, propõe-se uma fórmula semi-empírica para calcular o parâmetro chave deste algoritmo de agrupamento, e, usando um método robusto e eficiente de direções viáveis por pontos-interiores, estendemos o uso do método de Otimização Global Topográfica a problemas com restrições de desigualdade. O segundo objetivo é a aplicação deste método para a análise de estabilidade de fase em misturas termodinâmicas,o qual consiste em determinar se uma dada mistura se apresenta em uma ou mais fases. A solução deste problema de otimização global é necessária para o cálculo do equilíbrio de fases, que é um problema de grande importância em processos da engenharia, como, por exemplo, na separação por destilação, em processos de extração e simulação da recuperação terciária de petróleo, entre outros. Além disso, afim de ter uma avaliação inicial do potencial dessa técnica, primeiro vamos resolver 70 problemas testes, e então comparar o desempenho do método proposto aqui com o solver MIDACO, um poderoso software recentemente introduzido no campo da otimização global.

Simulated Annealing: Rigorous finite-time guarantees for optimization on continuous domains

Simulated annealing is a popular method for approaching the solution of a global optimization problem. Existing results on its performance apply to discrete combinatorial optimization where the optimization variables can assume only a finite set of possible values. We introduce a new general formulation of simulated annealing which allows one to guarantee finite-time performance in the optimization of functions of continuous variables. The results hold universally for any optimization problem on a bounded domain and establish a connection between simulated annealing and up-to-date theory of convergence of Markov chain Monte Carlo methods on continuous domains. This work is inspired by the concept of finite-time learning with known accuracy and confidence developed in statistical learning theory.

Convex optimization framework for intermediate deadline assignment in soft and hard real-time distributed systems

It is generally challenging to determine end-to-end delays of applications for maximizing the aggregate system utility subject to timing constraints. Many practical approaches suggest the use of intermediate deadline of tasks in order to control and upper-bound their end-to-end delays. This paper proposes a unified framework for different time-sensitive, global optimization problems, and solves them in a distributed manner using Lagrangian duality. The framework uses global viewpoints to assign intermediate deadlines, taking resource contention among tasks into consideration. For soft real-time tasks, the proposed framework effectively addresses the deadline assignment problem while maximizing the aggregate quality of service. For hard real-time tasks, we show that existing heuristic solutions to the deadline assignment problem can be incorporated into the proposed framework, enriching their mathematical interpretation.

Self-adaptive combination of global tabu search and local search for nonlinear equations

Solving systems of nonlinear equations is a very important task since the problems emerge mostly through the mathematical modelling of real problems that arise naturally in many branches of engineering and in the physical sciences. The problem can be naturally reformulated as a global optimization problem. In this paper, we show that a self-adaptive combination of a metaheuristic with a classical local search method is able to converge to some difficult problems that are not solved by Newton-type methods.

Optimization of inverse reflector design

Aquesta tesi presenta un nou mètode pel disseny invers de reflectors. Ens hem centrat en tres temes principals: l’ús de fonts de llum reals i complexes, la definició d’un algoritme ràpid pel càlcul de la il•luminació del reflector, i la definició d’un algoritme d’optimització per trobar més eficientment el reflector desitjat. Les fonts de llum estan representades per models near-field, que es comprimeixen amb un error molt petit, fins i tot per fonts de llum amb milions de raigs i objectes a il•luminar molt propers. Llavors proposem un mètode ràpid per obtenir la distribució de la il•luminació d’un reflector i la seva comparació amb la il•luminació desitjada, i que treballa completament en la GPU. Finalment, proposem un nou mètode d’optimització global que permet trobar la solució en menys passos que molts altres mètodes d’optimització clàssics, i alhora evitant mínims locals.

Search space pruning and global optimisation of Multiple Gravity Assist spacecraft trajectories

We introduce and describe the Multiple Gravity Assist problem, a global optimisation problem that is of great interest in the design of spacecraft and their trajectories. We discuss its formalization and we show, in one particular problem instance, the performance of selected state of the art heuristic global optimisation algorithms. A deterministic search space pruning algorithm is then developed and its polynomial time and space complexity derived. The algorithm is shown to achieve search space reductions of greater than six orders of magnitude, thus reducing significantly the complexity of the subsequent optimisation.

Global trajectory optimisation: can we prune the solution space when considering deep space manoeuvres?

This document contains a report on the work done under the ESA/Ariadna study 06/4101 on the global optimization of space trajectories with multiple gravity assist (GA) and deep space manoeuvres (DSM). The study was performed by a joint team of scientists from the University of Reading and the University of Glasgow.

Global minimization using an Augmented Lagrangian method with variable lower-level constraints

A novel global optimization method based on an Augmented Lagrangian framework is introduced for continuous constrained nonlinear optimization problems. At each outer iteration k the method requires the epsilon(k)-global minimization of the Augmented Lagrangian with simple constraints, where epsilon(k) -> epsilon. Global convergence to an epsilon-global minimizer of the original problem is proved. The subproblems are solved using the alpha BB method. Numerical experiments are presented.

Global optimisation of neural networks using a deterministic hybrid approach

Selection of the topology of a neural network and correct parameters for the learning algorithm is a tedious task for designing an optimal artificial neural network, which is smaller, faster and with a better generalization performance. In this paper we introduce a recently developed cutting angle method (a deterministic technique) for global optimization of connection weights. Neural networks are initially trained using the cutting angle method and later the learning is fine-tuned (meta-learning) using conventional gradient descent or other optimization techniques. Experiments were carried out on three time series benchmarks and a comparison was done using evolutionary neural networks. Our preliminary experimentation results show that the proposed deterministic approach could provide near optimal results much faster than the evolutionary approach.