The application of adaptive partitioned random search in feature selection problem

Feature selection is one of important and frequently used techniques in data preprocessing. It can improve the efficiency and the effectiveness of data mining by reducing the dimensions of feature space and removing the irrelevant and redundant information. Feature selection can be viewed as a global optimization problem of finding a minimum set of M relevant features that describes the dataset as well as the original N attributes. In this paper, we apply the adaptive partitioned random search strategy into our feature selection algorithm. Under this search strategy, the partition structure and evaluation function is proposed for feature selection problem. This algorithm ensures the global optimal solution in theory and avoids complete randomness in search direction. The good property of our algorithm is shown through the theoretical analysis.

Novel fast random search clustering approach for mixing matrix identification in MIMO linear blind inverse problems with sparse inputs

In this paper we propose a novel fast random search clustering (RSC) algorithm for mixing matrix identification in multiple input multiple output (MIMO) linear blind inverse problems with sparse inputs. The proposed approach is based on the clustering of the observations around the directions given by the columns of the mixing matrix that occurs typically for sparse inputs. Exploiting this fact, the RSC algorithm proceeds by parameterizing the mixing matrix using hyperspherical coordinates, randomly selecting candidate basis vectors (i.e. clustering directions) from the observations, and accepting or rejecting them according to a binary hypothesis test based on the Neyman–Pearson criterion. The RSC algorithm is not tailored to any specific distribution for the sources, can deal with an arbitrary number of inputs and outputs (thus solving the difficult under-determined problem), and is applicable to both instantaneous and convolutive mixtures. Extensive simulations for synthetic and real data with different number of inputs and outputs, data size, sparsity factors of the inputs and signal to noise ratios confirm the good performance of the proposed approach under moderate/high signal to noise ratios. RESUMEN. Método de separación ciega de fuentes para señales dispersas basado en la identificación de la matriz de mezcla mediante técnicas de "clustering" aleatorio.

Search schemes for random optimization algorithms that preserve the asymptotic distribution

Markovian algorithms for estimating the global maximum or minimum of real valued functions defined on some domain Omega subset of R-d are presented. Conditions on the search schemes that preserve the asymptotic distribution are derived. Global and local search schemes satisfying these conditions are analysed and shown to yield sharper confidence intervals when compared to the i.i.d. case.

The Salmon Algorithm - A New Population Based Search Metaheuristic

This thesis introduces the Salmon Algorithm, a search meta-heuristic which can be used for a variety of combinatorial optimization problems. This algorithm is loosely based on the path finding behaviour of salmon swimming upstream to spawn. There are a number of tunable parameters in the algorithm, so experiments were conducted to find the optimum parameter settings for different search spaces. The algorithm was tested on one instance of the Traveling Salesman Problem and found to have superior performance to an Ant Colony Algorithm and a Genetic Algorithm. It was then tested on three coding theory problems - optimal edit codes, optimal Hamming distance codes, and optimal covering codes. The algorithm produced improvements on the best known values for five of six of the test cases using edit codes. It matched the best known results on four out of seven of the Hamming codes as well as three out of three of the covering codes. The results suggest the Salmon Algorithm is competitive with established guided random search techniques, and may be superior in some search spaces.

ALTERNATIVE SAMPLING STRATEGY FOR A RANDOM OPTIMIZATION ALGORITHM

Alternative sampling procedures are compared to the pure random search method. It is shown that the efficiency of the algorithm can be improved with respect to the expected number of steps to reach an epsilon-neighborhood of the optimal point.

Aspectos fundamentais da experiência da vida

A tese que de seguida se esboça assenta sobre uma inquietação fundamental: o facto de cada um dar por si atirado na vida, de, quando cada um dá por si, dar por si a ser vida, etc. Acontece que, logo que se tenta focar mais precisamente de que é de que se trata quando se trata da “vida”, nota-se que esse fenómeno tem habitualmente a forma de um acontecimento anónimo: não se sabe bem a que é que corresponde, que conteúdos tem, que estruturas fundamentais a suportam, etc. Isto é: somos levados pela vida (passamos pela vida, atravessamo-la, estamos expostos a ela, etc.) sem saber exactamente a que é que estamos expostos, o que é que nos leva, sobre que pilares assenta a nossa vivência e a nossa compreensão dela, etc. A tese que se segue não tem a pretensão de deixar definitivamente respondidas estas perguntas; tudo o que faz, na verdade, é meramente proceder a um breve levantamento ou a um registo de algumas das estruturas fundamentais da vida a partir do ângulo da experiência da vida. E, como se espera deixar claro, procurar a resposta a partir do ângulo da experiência (do ângulo da experiência da vida) não é algo acidental ou fortuito. O que se procurará apurar é se não haverá tais laços de afinidade entre “vida” e “experiência” que todas as operações próprias da experiência têm lugar numa vinculação e estão subordinadas às estruturas fundamentais da vida (estruturas que ultrapassam o âmbito da “experiência”) e que, assim também, a vida tenha, de raiz, no modo como nela somos levados e conduzidos, a estrutura ou a forma da “experiência”.

Global Nash convergence of Foster and Young's regret testing

We construct an uncoupled randomized strategy of repeated play such that, if every player follows such a strategy, then the joint mixed strategy profiles converge, almost surely, to a Nash equilibrium of the one-shot game. The procedure requires very little in terms of players' information about the game. In fact, players' actions are based only on their own past payoffs and, in a variant of the strategy, players need not even know that their payoffs are determined through other players' actions. The procedure works for general finite games and is based on appropriate modifications of a simple stochastic learningrule introduced by Foster and Young.

Non-Linear Unsteady Aerodynamic Response Approximation Using Multi-Layer Functionals

Non-linear functional representation of the aerodynamic response provides a convenient mathematical model for motion-induced unsteady transonic aerodynamic loads response, that accounts for both complex non-linearities and time-history effects. A recent development, based on functional approximation theory, has established a novel functional form; namely, the multi-layer functional. For a large class of non-linear dynamic systems, such multi-layer functional representations can be realised via finite impulse response (FIR) neural networks. Identification of an appropriate FIR neural network model is facilitated by means of a supervised training process in which a limited sample of system input-output data sets is presented to the temporal neural network. The present work describes a procedure for the systematic identification of parameterised neural network models of motion-induced unsteady transonic aerodynamic loads response. The training process is based on a conventional genetic algorithm to optimise the network architecture, combined with a simplified random search algorithm to update weight and bias values. Application of the scheme to representative transonic aerodynamic loads response data for a bidimensional airfoil executing finite-amplitude motion in transonic flow is used to demonstrate the feasibility of the approach. The approach is shown to furnish a satisfactory generalisation property to different motion histories over a range of Mach numbers in the transonic regime.

Novel control, haptic and calibration methods for teleoperated electrohydraulic servo systems

The aim of this thesis is to propose a novel control method for teleoperated electrohydraulic servo systems that implements a reliable haptic sense between the human and manipulator interaction, and an ideal position control between the manipulator and the task environment interaction. The proposed method has the characteristics of a universal technique independent of the actual control algorithm and it can be applied with other suitable control methods as a real-time control strategy. The motivation to develop this control method is the necessity for a reliable real-time controller for teleoperated electrohydraulic servo systems that provides highly accurate position control based on joystick inputs with haptic capabilities. The contribution of the research is that the proposed control method combines a directed random search method and a real-time simulation to develop an intelligent controller in which each generation of parameters is tested on-line by the real-time simulator before being applied to the real process. The controller was evaluated on a hydraulic position servo system. The simulator of the hydraulic system was built based on Markov chain Monte Carlo (MCMC) method. A Particle Swarm Optimization algorithm combined with the foraging behavior of E. coli bacteria was utilized as the directed random search engine. The control strategy allows the operator to be plugged into the work environment dynamically and kinetically. This helps to ensure the system has haptic sense with high stability, without abstracting away the dynamics of the hydraulic system. The new control algorithm provides asymptotically exact tracking of both, the position and the contact force. In addition, this research proposes a novel method for re-calibration of multi-axis force/torque sensors. The method makes several improvements to traditional methods. It can be used without dismantling the sensor from its application and it requires smaller number of standard loads for calibration. It is also more cost efficient and faster in comparison to traditional calibration methods. The proposed method was developed in response to re-calibration issues with the force sensors utilized in teleoperated systems. The new approach aimed to avoid dismantling of the sensors from their applications for applying calibration. A major complication with many manipulators is the difficulty accessing them when they operate inside a non-accessible environment; especially if those environments are harsh; such as in radioactive areas. The proposed technique is based on design of experiment methodology. It has been successfully applied to different force/torque sensors and this research presents experimental validation of use of the calibration method with one of the force sensors which method has been applied to.

Incorporating complex cells into neural networks for pattern classification

Dans le domaine des neurosciences computationnelles, l'hypothèse a été émise que le système visuel, depuis la rétine et jusqu'au cortex visuel primaire au moins, ajuste continuellement un modèle probabiliste avec des variables latentes, à son flux de perceptions. Ni le modèle exact, ni la méthode exacte utilisée pour l'ajustement ne sont connus, mais les algorithmes existants qui permettent l'ajustement de tels modèles ont besoin de faire une estimation conditionnelle des variables latentes. Cela nous peut nous aider à comprendre pourquoi le système visuel pourrait ajuster un tel modèle; si le modèle est approprié, ces estimé conditionnels peuvent aussi former une excellente représentation, qui permettent d'analyser le contenu sémantique des images perçues. Le travail présenté ici utilise la performance en classification d'images (discrimination entre des types d'objets communs) comme base pour comparer des modèles du système visuel, et des algorithmes pour ajuster ces modèles (vus comme des densités de probabilité) à des images. Cette thèse (a) montre que des modèles basés sur les cellules complexes de l'aire visuelle V1 généralisent mieux à partir d'exemples d'entraînement étiquetés que les réseaux de neurones conventionnels, dont les unités cachées sont plus semblables aux cellules simples de V1; (b) présente une nouvelle interprétation des modèles du système visuels basés sur des cellules complexes, comme distributions de probabilités, ainsi que de nouveaux algorithmes pour les ajuster à des données; et (c) montre que ces modèles forment des représentations qui sont meilleures pour la classification d'images, après avoir été entraînés comme des modèles de probabilités. Deux innovations techniques additionnelles, qui ont rendu ce travail possible, sont également décrites : un algorithme de recherche aléatoire pour sélectionner des hyper-paramètres, et un compilateur pour des expressions mathématiques matricielles, qui peut optimiser ces expressions pour processeur central (CPU) et graphique (GPU).

Identification of nonlinear systems using generalized kernel models

Nonlinear system identification is considered using a generalized kernel regression model. Unlike the standard kernel model, which employs a fixed common variance for all the kernel regressors, each kernel regressor in the generalized kernel model has an individually tuned diagonal covariance matrix that is determined by maximizing the correlation between the training data and the regressor using a repeated guided random search based on boosting optimization. An efficient construction algorithm based on orthogonal forward regression with leave-one-out (LOO) test statistic and local regularization (LR) is then used to select a parsimonious generalized kernel regression model from the resulting full regression matrix. The proposed modeling algorithm is fully automatic and the user is not required to specify any criterion to terminate the construction procedure. Experimental results involving two real data sets demonstrate the effectiveness of the proposed nonlinear system identification approach.

Estimativas da condutividade térmica dos minerais e rochas e influência de parâmetros térmicos e petrofísicos na resistividade aparente da formação

O presente estudo realiza estimativas da condutividade térmica dos principais minerais formadores de rochas, bem como estimativas da condutividade média da fase sólida de cinco litologias básicas (arenitos, calcários, dolomitos, anidritas e litologias argilosas). Alguns modelos térmicos foram comparados entre si, possibilitando a verificação daquele mais apropriado para representar o agregado de minerais e fluidos que compõem as rochas. Os resultados obtidos podem ser aplicados a modelamentos térmicos os mais variados. A metodologia empregada baseia-se em um algoritmo de regressão não-linear denominado de Busca Aleatória Controlada. O comportamento do algoritmo é avaliado para dados sintéticos antes de ser usado em dados reais. O modelo usado na regressão para obter a condutividade térmica dos minerais é o modelo geométrico médio. O método de regressão, usado em cada subconjunto litológico, forneceu os seguintes valores para a condutividade térmica média da fase sólida: arenitos 5,9 ± 1,33 W/mK, calcários 3.1 ± 0.12 W/mK, dolomitos 4.7 ± 0.56 W/mK, anidritas 6.3 ± 0.27 W/mK e para litologias argilosas 3.4 ± 0.48 W/mK. Na sequência, são fornecidas as bases para o estudo da difusão do calor em coordenadas cilíndricas, considerando o efeito de invasão do filtrado da lama na formação, através de uma adaptação da simulação de injeção de poços proveniente das teorias relativas à engenharia de reservatório. Com isto, estimam-se os erros relativos sobre a resistividade aparente assumindo como referência a temperatura original da formação. Nesta etapa do trabalho, faz-se uso do método de diferenças finitas para avaliar a distribuição de temperatura poço-formação. A simulação da invasão é realizada, em coordenadas cilíndricas, através da adaptação da equação de Buckley-Leverett em coordenadas cartesianas. Efeitos como o aparecimento do reboco de lama na parede do poço, gravidade e pressão capilar não são levados em consideração. A partir das distribuições de saturação e temperatura, obtém-se a distribuição radial de resistividade, a qual é convolvida com a resposta radial da ferramenta de indução (transmissor-receptor) resultando na resistividade aparente da formação. Admitindo como referência a temperatura original da formação, são obtidos os erros relativos da resistividade aparente. Através da variação de alguns parâmetros, verifica-se que a porosidade e a saturação original da formação podem ser responsáveis por enormes erros na obtenção da resistividade, principalmente se tais "leituras" forem realizadas logo após a perfuração (MWD). A diferença de temperatura entre poço e formação é a principal causadora de tais erros, indicando que em situações onde esta diferença de temperatura seja grande, perfilagens com ferramentas de indução devam ser realizadas de um a dois dias após a perfuração do poço.

Interpretação quantitativa de anomalias gravimétricas ar-livre da margem continental norte brasileira, setor nordeste

Anomalias gravimétricas ar-livre de perfis perpendiculares a margem continental do tipo passiva apresentam uma configuração padrão. Esta configuração é, satisfatoriamente, explicada por um modelo geofísico formado por uma distribuição de descontinuidades horizontais bidimensionais. Um processo automático de busca aleatória é proposto para a interpretação quantitativa dos dados. Através do método de poliedros flexíves (Simplex), os parâmetros principais do modelo - o contraste de densidade, a profundidade, o rejeito e a localização de cada descontinuidade, puderam ser encontrados, admitindo uma relação número de pontos/número de parâmetros, a determinar, conveniente. Sobre a região do talude, as anomalias ar-livre da margem continental podem ser explicadas por uma única descontinuidade horizontal (degrau simples); e tendo que a resposta dos dados gravimétricos no domínio do número de onda contém informações sobre esta anomalia, foi proposto um procedimento gráfico iterativo para a análise espectral deste sinal. Aplicando a transformada de Fourier é possível determinar a profundidade e o rejeito da descontinuidade, e conhecendo estes parâmetros a densidade é calculada unicamente. O objetivo básico do uso destes procedimentos seria combinar os dois métodos de interpretação nos domínios do espaço e do número de onda, com a finalidade de obter soluções vinculadas mais plausíveis quanto ao contexto geológico esperado para a área estudada. Os dois procedimentos de interpretação foram aplicados nas anomalias gravimétricas ar-livre da margem continental norte brasileira, setor nordeste, abrangendo os estados do Maranhão ao Rio Grande do Norte. As respectivas capacidade de resolução de cada procedimento foram então analisadas. Demonstrou-se que a inversão realizada diretamente no domínio do espaço é mais favorável na interpretação das anomalias ar-livre, embora o tratamento espectral seja relativamente mais simples.