Técnicas de conformação de feixe em arranjo de antenas utilizando aprendizagem por reforço

Beamforming is a technique widely used in various fields. With the aid of an antenna array, the beamforming aims to minimize the contribution of unknown interferents directions, while capturing the desired signal in a given direction. In this thesis are proposed beamforming techniques using Reinforcement Learning (RL) through the Q-Learning algorithm in antennas array. One proposal is to use RL to find the optimal policy selection between the beamforming (BF) and power control (PC) in order to better leverage the individual characteristics of each of them for a certain amount of Signal to Interference plus noise Ration (SINR). Another proposal is to use RL to determine the optimal policy between blind beamforming algorithm of CMA (Constant Modulus Algorithm) and DD (Decision Direct) in multipath environments. Results from simulations showed that the RL technique could be effective in achieving na optimal of switching between different techniques.

Conselho Nacional de Desenvolvimento Científico e Tecnológico - CNPq

A conformação de feixe, também conhecida como beamforming, é uma técnica bastante utilizada em diversas áreas. Com o auxílio de um arranjo de antenas, a conformação de feixe tem como objetivo minimizar sinais interferentes de direções desconhecidas e capturar um sinal desejado de uma direção específica. Nesta tese são propostas técnicas de conformação de feixe utilizando Aprendizagem por Reforço (AR) através do algoritmo Q-Learning, em arranjo de antenas. Uma das propostas é utilizar AR para encontrar a política ótima de seleção entre a conformação de feixe (CF) e o controle de potência (CP) a fim de aproveitar melhor as características individuais de cada uma delas para um determinado valor de Relação Sinal-Ruído Interferente (SINR). Outra proposta é utilizar AR na determinação da política ótima para comutação dos algoritmos de conformação cega de feixes, Algoritmo do Módulo Constante (CMA) e o algoritmo de Decisão Direta (DD) em ambientes com multipercurso. Através de simulações destas propostas foi possível concluir que a AR pode ser eficaz para implementar uma política de comutação entre diferentes técnicas buscando aproveitar características positivas de cada uma delas.