Techniques for batch reinforcement learning in robotics

This thesis addresses the Batch Reinforcement Learning methods in Robotics. This sub-class of Reinforcement Learning has shown promising results and has been the focus of recent research. Three contributions are proposed that aim to extend the state-of-art methods allowing for a faster and more stable learning process, such as required for learning in Robotics. The Q-learning update-rule is widely applied, since it allows to learn without the presence of a model of the environment. However, this update-rule is transition-based and does not take advantage of the underlying episodic structure of collected batch of interactions. The Q-Batch update-rule is proposed in this thesis, to process experiencies along the trajectories collected in the interaction phase. This allows a faster propagation of obtained rewards and penalties, resulting in faster and more robust learning. Non-parametric function approximations are explored, such as Gaussian Processes. This type of approximators allows to encode prior knowledge about the latent function, in the form of kernels, providing a higher level of exibility and accuracy. The application of Gaussian Processes in Batch Reinforcement Learning presented a higher performance in learning tasks than other function approximations used in the literature. Lastly, in order to extract more information from the experiences collected by the agent, model-learning techniques are incorporated to learn the system dynamics. In this way, it is possible to augment the set of collected experiences with experiences generated through planning using the learned models. Experiments were carried out mainly in simulation, with some tests carried out in a physical robotic platform. The obtained results show that the proposed approaches are able to outperform the classical Fitted Q Iteration.

Development of sialons colloidally processed in aqueous medium

Desenvolveu-se um novo método de processamento coloidal em meio aquoso para consolidar cerâmicos de α-Y-SiAlON, os quais foram sinterizados por prensagem isostática a quente (HIP) e por spark plasma sintering (SPS). Preparou-se com sucesso uma suspensão aquosa de pós precursores de YSiAlON (Si3N4, Al2O3, Y2O3 e AlN), temporariamente estável, usando Dolapix PC21 como dispersante, permitindo a fabricação de pós granulados pela técnica de aspersão-congelamento-liofilização e a consolidação de corpos em verde por enchimento por barbotina. Avaliou-se o efeito do excesso de oxigénio introduzido pelo processamento aquoso no desenvolvimento microestrutural e nas propriedades mecânicas. Os corpos de Y-SiAlON consolidados por enchimento por barbotina e sinterizados por HIP a 1800ºC apresentaram microestruturas e propriedades mecânicas similares a corpos consolidados por prensagem a seco. Estes materiais exibiram densificação completa, dureza Vickers máxima de 2003 e tenacidade à fractura (método SEVNB) máxima de 5.20 MPam1/2. Foi ainda possível estabelecer uma relação estreita entre o aumento do conteúdo em oxigénio das amostras sinterizadas e a diminuição da tenacidade à fractura. Na tentativa de melhorar a tenacidade à fractura dos materiais, procedeu-se à incorporação nas suspensões de sementes de Ca-α-SiAlON de geometria alongada produzidas por síntese por combustão, adicionadas como agentes de reforço. A síntese por combustão realizada em larga escala (cargas até 1 kg) não produziu efeitos negativos óbvios nos produtos da reacção. Investigara-se os efeitos da adição de 5 % em peso de sementes nas propriedades mecânicas e no desenvolvimento microestrutural de amostras densificadas por HIP. Em comparação com os materiais sem sementes, a tenacidade à fractura (método SEVNB) aumentou 13%, mas a dureza Vickers resultou 14,5% inferior. A sinterização por SPS permitiu obter densificação completa a temperaturas tão baixas como 1600ºC a partir dos pós granulados de Y-SiAlON sem a adição extra de Y2O3 para aumentar o teor de fase líquida. Os materiais sinterizados a 1700ºC e 1600ºC mostraram valores máximos de tenacidade à fractura de 4.36 e 4.20 MPam1/2 (método SEVNB), e de dureza Vickers de 2089 e 2084, respectivamente. Esta técnica de sinterização permitiu ainda obter corpos sinterizados translúcidos com uma transmitância máxima de 61% numa amostra de 2mm de espessura. Os corpos translúcidos apresentaram dureza Vickers de 2154 e tenacidade à fractura 3.74 MPam1/2 (método SEVNB).

Métodos químicos de modificação superficial de nanomateriais

O objectivo geral desta tese foi investigar diversas estratégias de síntese de nanocompósitos híbridos de matriz polimérica, contendo nanopartículas inorgânicas com funcionalidades diversas. O interesse nestes nanocompósitos multifuncionais consiste no enorme potencial que apresentam para novas aplicações tecnológicas, tais como em optoelectrónica ou em medicina. No capítulo introdutório, apresenta-se uma revisão das propriedades de nanopartículas inorgânicas e nanoestruturas obtidas a partir destas, métodos de preparação e de modificação química superficial, incluindo a formação de nanocompósitos poliméricos, bem como a aplicação destas nanoestruturas em medicina e biologia. O estudo das propriedades de nanopartículas de ouro é um importante tema em Nanociência e Nanotecnologia. As propriedades singulares destas NPs apresentam uma estreita relação com o tamanho, morfologia, arranjo espacial e propriedades dieléctricas do meio circundante. No capítulo 2, é reportada a preparação de nanocompósitos utilizando miniemulsões de poli-estireno (PS) e poli-acrilato de butilo (PBA) contendo nanopartículas de ouro revestidas com moléculas orgânicas. As propriedades ópticas destas estruturas híbridas são dominadas por efeitos plasmónicos e dependem de uma forma crítica na morfologia final dos nanocompósitos. Em particular, demonstra-se aqui a possibilidade de ajustar a resposta óptica, na região do visível do espectro, através do arranjo das nanopartículas na matriz polimérica, e consequentemente o acoplamento plasmónico, utilizando nanopartículas resultantes da mesma síntese. Na generalidade, é reportada aqui uma estratégia alternativa para modificar a resposta óptica de nanocompósitos, através do controlo da morfologia do compósito final face à estratégia mais comum que envolve o controlo das características morfológicas das partículas metálicas utilizadas como materiais de partida. No Capítulo 3 apresentam-se os resultados da preparação de vários compósitos poliméricos com propriedades magnéticas de interesse prático. Em particular discute-se a síntese e propriedades magnéticas de nanopartículas de ligas metálicas de cobalto-platina (CoPt3) e ferro-platina (FePt3), assim como de óxidos de ferro (magnetite Fe3O4 e maguemite g-Fe2O3) e respectivos nanocompósitos poliméricos. A estratégia aqui descrita constitui uma via interessante de desenvolver materiais nanocompósitos com potencial aplicação em ensaios de análise de entidades biológicas in vitro, que pode ser estendido a outros materiais magnéticos. Como prova de conceito, demonstrase a bioconjugação de nanocompósitos de CoPt3/PtBA com anticorpos IgG de bovino. No capítulo 4 é descrita a preparação e propriedades ópticas de pontos quânticos (“quantum dots”, QDs) de CdSe/ZnS assim como dos seus materiais nanocompósitos poliméricos, CdSe/ZnS-PBA. Como resultado das suas propriedades ópticas singulares, os QDs têm sido extensivamente investigados como materiais inorgânicos para aplicações em dispositivos ópticos. A incorporação de QDs em matrizes poliméricas é de particular interesse, nomeadamente devido ao comportamento óptico do nanocompósito final parecer estar dependente do tipo de polímero utilizado. As propriedades ópticas dos nanocompósitos foram estudadas sistematicamente por medidas de fotoluminescência. Os nanocompósitos apresentam propriedades interessantes para potenciais aplicações biológicas em diagnóstico in vitro, funcionando como sondas biológicas luminescentes.

Thiram in the environment: effect of humic substances and Cu(II) ions

Em Portugal, o tirame é um dos fungicidas mais utilizados, cujas vendas aumentaram significativamente nos últimos anos, sendo também um dos fungicidas mais utilizados em todo o mundo. No entanto, em comparação com outros pesticidas, existe falta de informação na literatura sobre o seu comportamento em sistemas ambientais, nomeadamente, no que diz respeito à sua degradação no solo ou em águas e produtos a que dá origem. Neste contexto, o objetivo deste trabalho foi estudar a influência das substâncias húmicas e iões cobre no comportamento e destino do tirame no meio ambiente. Foram realizados vários estudos para analisar o comportamento do tirame em solos com diferentes conteúdos de matéria orgânica e de iões cobre, e em águas naturais, estudando como as substâncias húmicas, os iões cobre e a luz solar podem afetar a sua degradação. Os estudos de adsorção-desadsorção do tirame nos solos revelaram que a matéria orgânica do solo e o conteúdo de cobre afetavam os processos de adsorção-desadsorção do tirame, influenciando a sua lixiviação e persistência no solo. De facto, verificou-se que o teor de cobre do solo tinha um efeito bastante marcante no processo de adsorçãodesadsorção do tirame. Verificou-se a ocorrência de reações entre o tirame e os iões cobre, cuja extensão durante os estudos de adsorção pode ser fortemente dependente do teor de cobre do solo e da concentração inicial de tirame em solução. Assim, a escolha do tempo de equilíbrio em estudos de adsorção e a determinação das isotérmicas de adsorção ao solo torna-se uma tarefa difícil. Além disso, os complexos formados com o cobre existente no solo são persistentes, não sendo facilmente lixiviados para as águas subterrâneas. Conclui-se que os iões cobre(II) podem contribuir para a imobilização do tirame no solo e o aumento da persistência dos seus resíduos ligados ao cobre. A partir de estudos de recuperação do tirame em águas naturais verificou-se a ocorrência de uma rápida degradação do tirame, devido provavelmente aos iões metálicos, nomeadamente, iões cobre. Verificou-se que dependendo da razão tirame:Cu podiam ocorrer dois processos: (i) complexação entre o tirame e o cobre, quando não há excesso de iões cobre, sendo o complexo formado mais persistente que o tirame; (ii) ou, quando há um grande excesso de iões cobre, a degradação do tirame e a estabilização dos produtos de degradação por complexação, podendo formar-se complexos que permanecem sem alteração em solução durante pelo menos dois meses. No geral, foi possível, pela primeira vez, identificar alguns dos complexos de cobre formados ao longo do tempo. Por fim, estudou-se a cinética de fotodegradação do tirame em solução aquosa sob a ação da luz solar e identificaram-se, pela primeira vez, três fotoprodutos. Verificou-se um aumento da velocidade de fotodegradação do tirame na presença de substâncias húmicas. Assim, podemos concluir que a matéria orgânica, os iões cobre(II) e a luz solar têm um efeito importante no comportamento do tirame no meio ambiente. Contudo, os iões cobre têm um efeito mais marcante na degradação e persistência dos produtos que são formados.

Aplicação de cortiça em dois tipos de reatores para tratamento de água

A qualidade da água degradou-se de forma relevante nas últimas décadas e os processos de sorção têm vindo a ser investigados como métodos promissores para o tratamento de águas contaminadas. Neste trabalho avaliou-se a capacidade de dois tipos de cortiça para a remoção de diversos contaminantes, em reatores de vaso fechado e de leito fixo. Os ensaios realizados em reatores de vaso fechado permitiram (i) avaliar o efeito do pH e da granulometria na eficiência dos sorventes na remoção de mercúrio e (ii) avaliar a afinidade dos sorventes para outros contaminantes, nomeadamente arsénio, cádmio, níquel e chumbo. Estruturalmente as duas cortiças estudadas aparentam ser semelhantes, com uma pequena diferença de comportamento ácido-base e não apresentam diferenças estatisticamente significativas na remoção de mercúrio. Os resultados obtidos permitiram constatar que o processo de remoção é independente do pH, tendo-se obtido percentagens de remoção da ordem dos 80% e de concentrações de mercúrio na cortiça na ordem dos 117 μg/g. As cortiças estudadas revelaram-se menos eficazes no tratamento de água com os restantes contaminantes, atingindo percentagens de remoção máximas de 0% para As, 11% para Cd, 35% para Ni e 69% para Pb. Os ensaios em leito fixo, mesmo sem terem sido otimizados, revelam que é possível obter uma eficácia de remoção de mercúrio superior a 90% nas primeiras 40 horas de trabalho, sendo a concentração de mercúrio no leito de 680 μg/g. Relativamente aos mecanismos de sorção, os resultados experimentais indicam que estes são possivelmente de natureza química e que as interações eletrostáticas têm pouca importância.

Bioethanol production from a sub-product of pulping industry

A vida da sociedade atual é dependente dos recursos fósseis, tanto a nível de energia como de materiais. No entanto, tem-se verificado uma redução das reservas destes recursos, ao mesmo tempo que as necessidades da sociedade continuam a aumentar, tornando cada vez mais necessárias, a produção de biocombustíveis e produtos químicos. Atualmente o etanol é produzido industrialmente a partir da cana-de-açúcar e milho, matérias-primas usadas na alimentação humana e animal. Este fato desencadeou o aumento de preços dos alimentos em todo o mundo e, como consequência, provocou uma série de distúrbios sociais. Os subprodutos industriais, recursos independentes das cadeias alimentares, têm-se posicionado como fonte de matérias-primas potenciais para bioprocessamento. Neste sentido, surgem os subprodutos gerados em grande quantidade pela indústria papeleira. Os licores de cozimento da madeira ao sulfito ácido (SSLs) são uma matériaprima promissora, uma vez que durante este processo os polissacarídeos da madeira são hidrolisados originando açúcares fermentáveis. A composição dos SSLs varia consoante o tipo de madeira usada no processo de cozimento (de árvores resinosas, folhosas ou a mistura de ambas). O bioprocessamento do SSL proveniente de folhosas (HSSL) é uma metodologia ainda pouco explorada. O HSSL contém elevadas concentrações de açúcares (35-45 g.L-1), na sua maioria pentoses. A fermentação destes açúcares a bioetanol é ainda um desafio, uma vez que nem todos os microrganismos são capazes de fermentar as pentoses a etanol. De entre as leveduras capazes de fermentar naturalmente as pentoses, destaca-se a Scheffersomyces stipitis, que apresenta uma elevada eficiência de fermentação. No entanto, o HSSL contém também compostos conhecidos por inibirem o crescimento de microrganismos, dificultando assim o seu bioprocessamento. Neste sentido, o principal objetivo deste trabalho foi a produção de bioetanol pela levedura S. stipitis a partir de HSSL, resultante do cozimento ao sulfito ácido da madeira de Eucalyptus globulus. Para alcançar este objetivo, estudaram-se duas estratégias de operação diferentes. Em primeiro lugar estudou-se a bio-desintoxicação do HSSL com o fungo filamentoso Paecilomyces variotii, conhecido por crescer em resíduos industriais. Estudaram-se duas tecnologias fermentativas diferentes para a biodesintoxicação do HSSL: um reator descontínuo e um reator descontínuo sequencial (SBR). A remoção biológica de inibidores do HSSL foi mais eficaz quando se usou o SBR. P. variotii assimilou alguns inibidores microbianos como o ácido acético, o ácido gálico e o pirogalol, entre outros. Após esta desintoxicação, o HSSL foi submetido à fermentação com S. stipitis, na qual foi atingida a concentração máxima de etanol de 2.36 g.L-1 com um rendimento de 0.17 g.g-1. P. variotti, além de desintoxicar o HSSL, também é útil na produção de proteína microbiana (SCP) para a alimentação animal pois, a sua biomassa é rica em proteína. O estudo da produção de SCP por P. variotii foi efetuado num SBR com HSSL sem suplementos e suplementado com sais. A melhor produção de biomassa foi obtida no HSSL sem adição de sais, tendo-se obtido um teor de proteína elevado (82,8%), com uma baixa concentração de DNA (1,1%). A proteína continha 6 aminoácidos essenciais, mostrando potencial para o uso desta SCP na alimentação animal e, eventualmente, em nutrição humana. Assim, a indústria papeleira poderá integrar a produção de bioetanol após a produção SCP e melhorar a sustentabilidade da indústria de pastas. A segunda estratégia consistiu em adaptar a levedura S. stipitis ao HSSL de modo a que esta levedura conseguisse crescer e fermentar o HSSL sem remoção de inibidores. Operou-se um reator contínuo (CSTR) com concentrações crescentes de HSSL, entre 20 % e 60 % (v/v) durante 382 gerações em HSSL, com uma taxa de diluição de 0.20 h-1. A população adaptada, recolhida no final do CSTR (POP), apresentou uma melhoria na fermentação do HSSL (60 %), quando comparada com a estirpe original (PAR). Após esta adaptação, a concentração máxima de etanol obtida foi de 6.93 g.L-1, com um rendimento de 0.26 g.g-1. POP possuía também a capacidade de metabolizar, possivelmente por ativação de vias oxidativas, compostos derivados da lenhina e taninos dissolvidos no HSSL, conhecidos inibidores microbianos. Por fim, verificou-se também que a pré-cultura da levedura em 60 % de HSSL fez com que a estirpe PAR melhorasse o processo fermentativo em HSSL, em comparação com o ensaio sem pré-cultura em HSSL. No entanto, no caso da estirpe POP, o seu metabolismo foi redirecionado para a metabolização dos inibidores sendo que a produção de etanol decresceu.

Biovalorização de soro de queijo por processos anaeróbios/aeróbios

Este trabalho abordou a valorização de um subproduto da indústria de lacticínios (soro de queijo) através da alteração do funcionamento de processos habitualmente utilizados no contexto do tratamento biológico. Foi avaliada a fermentação acidogénica deste subproduto para maximizar a conversão do seu elevado teor de matéria orgânica em ácidos orgânicos voláteis (AOV) que actualmente são produtos com elevada procura, nomeadamente para produção de polihidroxialcanoatos (PHA). Em ensaios descontínuos e semi-contínuos foi caracterizada a produção e composição de AOV a partir de soro de queijo variando a razão food-to-microorganism (F/M) e a concentração de alcalinidade. Recorrendo à modelação dos resultados através de superfícies de resposta, demonstrou-se que condições de F/M = 4 gCQO g-1SSV combinadas com uma adição elevada de alcalinidade (8 g L-1 expresso como CaCO3) resultaram na conversão de 72% da CQO alimentada em AOV. O acetato e o butirato foram os AOV predominantes (60%), mas elevadas razões F/M combinadas com elevadas alcalinidades promoveram o alongamento da cadeia carboxílica, tendo sido produzidos AOV de maior massa molecular (iso-valerato e n-caproato). O processo de fermentação acidogénica foi posteriormente desenvolvido em modo contínuo num reactor MBBR acidogénico operado a longo prazo. Cargas orgânicas entre 30 e 50 gCQO L-1d-1 permitiram obter um grau de acidificação máximo de 68% no efluente fermentado. Foi ainda demonstrado que uma adição dinâmica de alcalinidade (0 – 4,8 g CaCO3 L-1) nestas condições estimulou a produção de AOV de cadeia ímpar (propionato e n-valerato) até 42%. O efluente acidificado no processo anaeróbio foi usado como substrato em reactores SBR operados para selecção de culturas microbianas mistas acumuladoras de PHA, nos quais foi aplicado um regime de alimentação dinâmica em condições aeróbias (“fartura-fome”). Estes sistemas operaram também a longo prazo, e demonstraram ser capazes de remover mais de 96% da CQO alimentada e simultaneamente convertê-la em PHA, até 36% do peso celular seco. A velocidade de remoção de substrato (valor máximo de 1,33 gCQO g-1SSV h-1) foi proporcional ao teor de polímero acumulado, evidenciando o estabelecimento de uma fase de “fome” prolongada que estimulou a selecção de microrganismos com elevada capacidade de acumulação de PHA. Além disso, o teor molar de hidroxivalerato (HV) no copolímero produzido [P(HB-co-HV)] foi directamente proporcional ao teor de AOV de cadeia ímpar (propionato e n-valerato) presente no soro fermentado que serviu de substrato. Uma estratégia de operação do reactor SBR com variação da carga orgânica, aliada ao regime “fartura-fome” estabelecido, permitiu ainda simular a realidade dos processos de tratamento biológico de efluentes, nos quais a composição e concentração inicial de matéria orgânica variam frequentemente. Este modo de operação do sistema estimulou notavelmente o processo de selecção de culturas acumuladoras de PHA tendo resultado num aumento da acumulação de PHA de 7% para 36%. Os resultados demonstraram com sucesso a possibilidade de valorização do soro de queijo através de eco-biotecnologia, contribuindo para uma mudança de paradigma no tratamento convencional de efluentes: ao invés de serem eliminados enquanto poluentes, os componentes orgânicos presentes neste subproduto industrial podem assim ser convertidos em materiais de valor acrescentado.

Novas dispersões aquosas com morfologia controlada para revestimentos

O objetivo desta dissertação foi o desenvolvimento de dispersões poliméricas acrílicas, passíveis de serem usadas como ligantes em esmaltes aquosos que sejam capazes de conferir características especiais como elevada resistência ao empilhamento e à nódoa, assim como reduzir o impacto no ambiente quer através da utilização de matérias-primas de fontes renováveis, quer pela substituição de esmaltes de base solvente por esmaltes de base aquosa. Depois de uma introdução em que se contextualiza o conhecimento e as práticas nas áreas de polimerização em emulsão e revestimentos decorativos, são descritos e discutidos os resultados das várias etapas de desenvolvimento efetuadas ao longo do qual foram exploradas diferentes vias: - Funcionalização de polímeros acrílicos procurando melhorar as propriedades de superfície através da introdução de monómeros com grupos funcionais amina, epóxido e acetoacetoxilo; - Formulação de dispersões poliméricas com partículas de morfologia heterogénea, otimizando-se as suas propriedades de superfície em função da variação da composição monomérica das diferentes fases, da partição entre as duas fases poliméricas e diferentes níveis de monómero funcional. Complementaram-se os resultados com seleções afinadas baseadas em ensaios delineados através de planeamento de experiências. - Modificação dos produtos obtidos para melhoria de propriedades de resistência à nódoa, através da adição de aditivos específicos; - Teste de emulsionantes com origem em fontes renováveis quer aniónicos, quer não-iónicos. Todas as dispersões aquosas foram caracterizadas de acordo com as suas características mais relevantes entre as quais a temperatura mínima de formação de filme, o tamanho médio de partícula e a formação de grumos. As formulações mais promissoras foram também caracterizadas por 1H - NMR, FTIR, DSC, STEM e AFM). Seguidamente com essas dispersões foram preparados esmaltes com as dispersões aquosas mais promissoras que foram caracterizados exaustivamente em termos de propriedades de relevo para a aplicação decorativa em madeira. Os objetivos principais do trabalho foram atingidos, tendo sido desenvolvido um produto com morfologia heterogénea que apresenta elevada resistência ao empilhamento e propriedades antinódoa aceitáveis capaz de substituir os esmaltes de base solvente. A sua produção foi validada através do fabrico industrial (scale-up) e introdução no mercado. Relativamente à utilização de matérias-primas de fontes renováveis, esta carece ainda de otimizações futuras.