Techniques for batch reinforcement learning in robotics

This thesis addresses the Batch Reinforcement Learning methods in Robotics. This sub-class of Reinforcement Learning has shown promising results and has been the focus of recent research. Three contributions are proposed that aim to extend the state-of-art methods allowing for a faster and more stable learning process, such as required for learning in Robotics. The Q-learning update-rule is widely applied, since it allows to learn without the presence of a model of the environment. However, this update-rule is transition-based and does not take advantage of the underlying episodic structure of collected batch of interactions. The Q-Batch update-rule is proposed in this thesis, to process experiencies along the trajectories collected in the interaction phase. This allows a faster propagation of obtained rewards and penalties, resulting in faster and more robust learning. Non-parametric function approximations are explored, such as Gaussian Processes. This type of approximators allows to encode prior knowledge about the latent function, in the form of kernels, providing a higher level of exibility and accuracy. The application of Gaussian Processes in Batch Reinforcement Learning presented a higher performance in learning tasks than other function approximations used in the literature. Lastly, in order to extract more information from the experiences collected by the agent, model-learning techniques are incorporated to learn the system dynamics. In this way, it is possible to augment the set of collected experiences with experiences generated through planning using the learned models. Experiments were carried out mainly in simulation, with some tests carried out in a physical robotic platform. The obtained results show that the proposed approaches are able to outperform the classical Fitted Q Iteration.

Clubes de ciências e o percurso escolar dos alunos

Os factores que levam os alunos, no final da escolaridade obrigatória, a escolher o seu percurso escolar são vários. Neste estudo procurou-se saber em que medida a frequência de Clubes na área das Ciências influenciam essa decisão e, ainda, estudar como potenciar a sua organização no sentido de que estes possam contribuir positivamente para as escolhas dos alunos por percursos escolares na área das Ciências. A investigação decorreu em duas fases. Na primeira fase, foi avaliada a influência dos Clubes de Ciências na decisão do percurso escolar dos alunos, no final da escolaridade básica. Nesta fase foram realizados os seguintes procedimentos: -Entrevista semi-estruturada realizada a sete professoras responsáveis de Clubes na área das Ciências Físicas e Naturais, de 7 Escolas Secundárias da região de Aveiro. -Administração de um questionário, construído com questões maioritariamente fechadas, a uma amostra de 106 alunos, do 10ºAno, provenientes de 11 Escolas Secundárias da região de Aveiro, que frequentaram Clubes na área das Ciências Físicas e Naturais, no 3º Ciclo. -Tratamento estatístico das questões do questionário, com recurso ao programa SPSS (Statistical Package for the Social Science) e análise de conteúdo das questões abertas do questionário e das entrevistas, recorrendose para o efeito à construção de categorias de resposta. Na segunda fase concebeu-se e implementou-se um Clube de Ciências. Nesta fase surgiu a criação do Clube: ”Educação para o Desenvolvimento Sustentável”, no qual foi desenvolvido o projecto: “Construção e dinamização de uma Estação Meteorológica”, numa Escola Básica do 2º e 3º Ciclos do Concelho de Aveiro. Os resultados obtidos na primeira fase do estudo são reveladores da importância que é atribuída às experiências vivenciadas pelos alunos nos Clubes de Ciências que frequentaram. Os temas/assuntos abordados foram essencialmente conteúdos ligados a áreas do conhecimento das disciplinas de Ciências. Predominaram as estratégias com base em trabalho de projecto e em actividades experimentais. Indicadores nacionais e internacionais têm evidenciado um decréscimo no número de jovens que, na sua escolaridade, optam por estudos nas áreas das Ciências e da Tecnologia. Este decréscimo tem sido um factor de preocupação ao nível das políticas educativas, nomeadamente europeias, tornando-se urgente, por um lado, compreender o porquê desse facto e, por outro, encontrar formas de o minimizar. Os Clubes na perspectiva das responsáveis entrevistadas: (a) Surgem como uma oportunidade para melhorar as competências dos alunos ao nível do saber fazer; (b) Permitem confirmar e reforçar a motivação e o gosto pelas Ciências; (c) Podem, também, dar-lhes orientações para o futuro, embora esta não tenha sido uma preocupação explícita; (d) São do agrado dos alunos devido a apresentarem actividades não meramente académicas e formais. Os Clubes, na perspectiva dos alunos respondentes: (a) Aumentaram a motivação para estudar Ciências; (b) Permitiram relacionar as Ciências com o dia-a-dia; (c) Ajudaram na escolha do curso que frequentam no Ensino Secundário; (d) Contribuíram para querer exercer uma profissão na área das Ciências. Na segunda fase do estudo, foi desenvolvido um trabalho de projecto que envolveu alunos do 3º Ciclo. O tema do projecto, proposto e implementado, coincidiu com os dois temas menos abordados, nos Clubes frequentados pelos respondentes da primeira fase do estudo, Meteorologia e Temáticas com Impacto Social. Por outro lado o Clube pretendeu contribuir para a Década da Educação para o Desenvolvimento Sustentado, instituída pelas Nações Unidas, para fazer frente à actual situação de emergência planetária. Uma estratégia privilegiada para formar cidadãos capazes de assumir atitudes e valores com vista ao desenvolvimento sustentável, passa pela Educação em todas as suas vertentes, nomeadamente a do ensino não formal, na qual se incluem os Clubes de Ciências. ABSTRACT: National and international indicators have showed a decrease in the number of youngsters that, during their school course make their choices in the study areas of Science and Technology. This decreasing tendency has been a motive of concern as far as the European educational policies are concerned. Thus, it is urgent to understand the reason behind that situation and find ways to minimize it. There are various factors that make students choose their study areas in the end of their school course. This study aimed to find out how the Science Clubs can influence their decisions as well as to study new ways to improve their organization in such a way that they may contribute positively to the students’ choices of their school careers in the area of Science. The investigation was divided in two parts: in the first part, it was evaluated the level of the influence of the Science Clubs in the students’ school careers at the end of the elementary education. At this stage it was adopted the following procedure: -A semi-structured interview was applied to 7 female teachers that are responsible for the Natural and Physics Science Clubs, in secondary schools, in the region of Aveiro; -A mainly close-question questionnaire was applied to a sample of 106 students, in the 10th grade, in 11 secondary schools, in the region of Aveiro. These students have attended some Natural and Physics Science Clubs, during the 7th, 8th and 9th grades; -Statistical work of the questionnaire was done with the help of the SPSS programme (Statistical Package for the Social Science) as well as the analysis of the contents of the open-questions of the questionnaire and the interviews by means of the answer-category method. In the second part, a Science Club was planned and implemented. At this stage, a club was created - “Education for the Sustainable Development” - within which the following project was developed – “Building and Development of a Meteorological Observatory”, at a 2nd and 3rd Ciclos (Stages) Elementary School, in Aveiro. The results of the first part of this study case have showed clearly the importance given to the experiences of the students while attending the Science Clubs. The themes/subjects studied were mainly science knowledgerelated contents. The strategies adopted were based on project work and experimental activities. A view of the Clubs by the people who are responsible for them: (a)The Clubs mean an opportunity for students to learn the know-how process; (b)They have provided the reinforcement of the motivation and preference for Science; (c)Although it was not the main concern with the clubs, the truth is that they can also give the students a sense of awareness for the future; (d)Students like to make part of the clubs because of their experimental character. A view of the Clubs by the students who make part of them: (a)The clubs have increased the level of motivation to study Science; (b)They have allowed a close perspective of the daily life reality; (c)They have helped with the choice of the Secondary School courses; (d)They have made students want a future professional career in the area of Science. In the second part of this study case, a project work was carried out involving 7th, 8th and 9th grade students. The subject of the project, considered and implemented, coincided with the two less boarded subjects, in the Clubs attended a course for the respondents of the first phase of the study, Meteorology and Thematic with Social Impact. The Club also aimed to contribute to the decade of the “Education for the Sustained Future” as settled by the United Nations in order to face the present emergency situation of the planet. The last but not the least, it is believed that, the best strategy to teach future citizens who are able to take the responsibility of their values and attitudes towards a sustainable future, is to provide them a type of Education that can teach them both the formal curriculum aspects and the informal ones, as it is the case of the Science Clubs.

O currículo das ciências físicas e naturais na perspetiva docente: saberes profissionais e possibilidades de ação

O atual contexto social de aceleração exponencial, resultante de alterações políticas, económicas e do acesso imediato a um extenso conjunto de informações e a um manancial de desenvolvimentos científicos e tecnológicos, cujas implicações são imprevisíveis e transversais a diferentes setores, está em dissonância com as características do modelo escolar dominante e a naturalizada ‘gramática da escola’ (Formosinho & Machado, 2008; Nóvoa, 2009a; Tyack & Tobin, 1994). Este desfasamento, amplificado em países com sistemas de ensino de matriz centralizada, resvala entre uma ação docente acrítica e executora e, em oposição, uma ação docente de natureza profissional, caracterizada por um alinhamento entre o desenvolvimento profissional e a afirmação da especificidade do conhecimento profissional docente, enquanto saber que se constrói na interação com os outros, com o próprio, nos e sobre os contextos de prática. A implementação do processo de reorganização curricular do ensino básico (Decreto-Lei n.º 6/2001, de 18 de janeiro) redefiniu o currículo nacional segundo duas perspetivas: a nacional e a local, veiculando uma conceção curricular flexível e emancipatória, isto é, uma proposta curricular que confere aos professores autonomia no desenvolvimento e gestão do currículo, instigando-os à realização de práticas curriculares com intencionalidade pedagógica estratégica. Neste sentido, a pretensão desta investigação situou-se ao nível da problematização de saberes profissionais e da concetualização de algumas possibilidades de ação tangenciais à capacidade de autotransformação de cada profissional docente e da escola. As opções metodológicas consideradas visaram, sobretudo, compreender quais os possíveis conhecimentos profissionais mobilizados por professores de Ciências Físicas e Naturais, em particular ao nível do desenvolvimento e gestão do currículo desta área curricular. Assim, perspetivado sob a forma de questão enquadradora, o problema que esteve na génese desta investigação assume a seguinte formulação: Que conhecimento mobilizam professores do ensino básico no desenvolvimento e na gestão do currículo das Ciências Físicas e Naturais? De que forma e com que ações poderá ser potenciado esse conhecimento nos processos de ensino e aprendizagem? O estudo empírico que sustentou este projeto de investigação organizou-se em dois momentos distintos. O primeiro, de natureza predominantemente quantitativa e dimensão de análise extensiva, envolveu a administração de um inquérito por questionário a professores de Ciências Físicas e Naturais que, no ano letivo de 2006/2007, se encontravam a lecionar em escolas públicas com 2.º e 3.º ciclos afetas à Direção Regional de Educação do Norte e ao, anteriormente, designado Centro de Área Educativa de Aveiro. Com um enfoque preponderantemente qualitativo, o segundo momento do estudo decorreu ao longo do ano letivo de 2007/2008 num agrupamento de escolas da região norte do país e consistiu na realização de entrevistas a oito professores de Ciências Físicas e Naturais, à coordenadora do departamento de Matemática e Ciências Experimentais e aos presidentes do Conselho Pedagógico e do Conselho Executivo. Ao longo do ano letivo, os professores de Ciências Físicas e Naturais desenvolveram, igualmente, um percurso formativo cuja ênfase se situava ao nível da adequação do desenvolvimento e gestão do currículo desta área disciplinar. As técnicas de tratamento de dados privilegiadas foram a análise estatística e a análise de conteúdo. Os resultados deste estudo apontam para a prevalência de uma ação docente desprovida de intencionalidades pedagógica e curricular ou de integração na construção do corpo geral do saber, designadamente ao nível dos processos de desenvolvimento e gestão do currículo. Não obstante alguma familiarização com conceitos inerentes à dimensão do conhecimento do currículo, os indicadores de reapropriação ao nível da ação docente foram escassos, denunciando a presença de constrangimentos no domínio teórico das orientações curriculares nacionais e locais, bem como no desenvolvimento de práticas curriculares articuladas e estrategicamente definidas. Por outro lado, o predomínio de uma ação docente tendencialmente acrítica, de matriz executora, associada ao cumprimento de normativos legais e de rotinas e burocracias instituídas, indiciou fragilidades ao nível do conhecimento profissional configurado como mobilização complexa, organizada e coerente de conhecimentos científicos, curriculares, pedagógicos e metodológicos, em função da especificidade de cada situação educativa e cuja finalidade é a otimização da aprendizagem do aluno. O percurso formativo afigurou-se como um espaço de partilha e de reflexão colegial, propício ao desenvolvimento de ações que se inserem numa perspetiva de ‘action learning’, possibilitando a reflexão e a aprendizagem através de ações empreendidas em função de práticas educativas. As possibilidades de ação remetem para a integração da formação contínua em contexto, com intencionalidades pedagógicas e curriculares estrategicamente definidas, e a problematização da formação inicial e contínua dos professores, envolvendo as perspetivas de diferentes atores educativos e de investigadores educacionais.

Cyclic behaviour of RC elements with plain reinforcing bars

O comportamento cíclico das estruturas de betão armado é fortemente condicionado pelo mecanismo de aderência entre o betão e o aço. O escorregamento relativo entre os dois materiais, resultante da degradação progressiva da aderência em elementos solicitados por ações cíclicas, é uma causa frequente de danos graves e até do colapso de estruturas devido à ocorrência de sismos. Entre as estruturas existentes de betão armado que foram dimensionadas e construídas antes da entrada em vigor dos regulamentos sísmicos atuais, muitas foram construídas com armadura lisa, e portanto, possuem fracas propriedades de aderência. A informação disponível na literatura sobre o comportamento cíclico de elementos estruturais de betão armado com armadura lisa é reduzida e a influência das propriedades da aderência associadas a este tipo de armadura no comportamento cíclico das estruturas existentes não se encontra ainda devidamente estudada. O objectivo principal desta tese foi estudar a influência do escorregamento na resposta cíclica de elementos estruturais de betão armado com armadura lisa. Foram realizados ensaios cíclicos em elementos do tipo nó viga-pilar, construídos à escala real, representativos de ligações interiores em edifícios existentes sem pormenorização específica para resistir às ações sísmicas. Para comparação, foi realizado o ensaio de um nó construído com armadura nervurada. Foi ainda realizado o ensaio cíclico de uma viga de betão armado recolhida de uma estrutura antiga. Foram elaborados modelos numéricos não-lineares para simular a resposta dos elementos ensaiados, concentrando especial atenção no mecanismo do escorregamento. Os resultados obtidos no âmbito desta tese contribuem para o avanço do conhecimento sobre o comportamento cíclico de elementos estruturais de betão armado com armadura lisa. As análises numéricas realizadas comprovam a necessidade de incluir os efeitos do escorregamento na modelação numérica deste tipo de estruturas de forma a representar com rigor a sua resposta às ações cíclicas.

Essays on supply chain's flexibility: a real options approach

A presente tese investiga o processo de tomada de decisão na gestão de cadeias de abastecimento, utilizando um quadro de análise de opções reais. Especificamente, estudamos tópicos como o nível de inventário ideal para protecção contra a incerteza da procura, o momento para implementação de capacidade flexível em mercados onde existe complexidade no mix de produtos, o tempo para o reforço do factor trabalho visando requisitos de serviço ao mercado, e as decisões entre integração e outsourcing num ambiente de incerteza. Foram usadas metodologias de tempo discreto e contínuo para identificar o valor ideal e o calendário das opções a adoptar, quando a procura é estocástica. Além disso, foram considerados os efeitos dos requisitos dos mercados, como a complexidade na oferta de produtos e o nível de serviço. A procura é representada recorrendo a diferentes processos estocásticos, o impacto de saltos inesperados também é explorado, reforçando a generalização dos modelos a diferentes condições de negócio. A aplicabilidade dos modelos que apresentamos permite a diversificação e o enriquecimento da literatura sobre a abordagem de opções reais, no âmbito das cadeias de abastecimento. Níveis de inventário flexíveis e capacidades flexíveis são característicos das cadeias de abastecimento e podem ser usados como resposta à incerteza do mercado. Esta tese é constituída por ensaios que suportam a aplicação dos modelos, e consiste num capítulo introdutório (designado por ensaio I) e mais seis ensaios sobre factores que discutem o uso de medidas de flexibilidade nas cadeias de abastecimento, em ambientes de incerteza, e um último ensaio sobre a extensão do conceito de flexibilidade ao tratamento da avaliação de planos de negócio. O segundo ensaio que apresentamos é sobre o valor do inventário num único estádio, enquanto medida de flexibilidade, sujeita ao crescente condicionalismo dos custos com posse de activos. Introduzimos uma nova classificação de artigos para suportar o indicador designado por overstock. No terceiro e quarto ensaio ampliamos a exploração do conceito de overstock, promovendo a interacção e o balanceamento entre vários estádios de uma cadeia de abastecimento, como forma de melhorar o desempenho global. Para sustentar a aplicação prática das abordagens, adaptamos o ensaio número três à gestão do desempenho, para suportar o estabelecimento de metas coordenadas e alinhadas; e adaptamos o quarto ensaio à coordenação das cadeias de abastecimento, como auxiliar ao planeamento integrado e sequencial dos níveis de inventário. No ensaio cinco analisamos o factor de produção “tecnologia”, em relação directa com a oferta de produtos de uma empresa, explorando o conceito de investimento, como medida de flexibilidade nas componentes de volume da procura e gama de produtos. Dedicamos o ensaio número seis à análise do factor de produção “Mão-de-Obra”, explorando as condicionantes para aumento do número de turnos na perspectiva económica e determinando o ponto crítico para a tomada de decisão em ambientes de incerteza. No ensaio número sete exploramos o conceito de internalização de operações, demarcando a nossa análise das demais pela definição do momento crítico que suporta a tomada de decisão em ambientes dinâmicos. Complementamos a análise com a introdução de factores temporais de perturbação, nomeadamente, o estádio de preparação necessário e anterior a uma eventual alteração de estratégia. Finalmente, no último ensaio, estendemos a análise da flexibilidade em ambientes de incerteza ao conceito de planos de negócio. Em concreto, exploramos a influência do número de pontos de decisão na flexibilidade de um plano, como resposta à crescente incerteza dos mercados. A título de exemplo, usamos o mecanismo de gestão sequencial do orçamento para suportar o nosso modelo. A crescente incerteza da procura obrigou a um aumento da agilidade e da flexibilidade das cadeias de abastecimento, limitando o uso de muitas das técnicas tradicionais de suporte à gestão, pela incapacidade de incorporarem os efeitos da incerteza. A flexibilidade é claramente uma vantagem competitiva das empresas que deve, por isso, ser quantificada. Com os modelos apresentados e com base nos resultados analisados, pretendemos demonstrar a utilidade da consideração da incerteza nos instrumentos de gestão, usando exemplos numéricos para suportar a aplicação dos modelos, o que claramente promove a aproximação dos desenvolvimentos aqui apresentados às práticas de negócio.

Rede social de leitores e escritores juniores: portal Biblon: a integração social on-line como catalisador da leitura, criação, expressão e partilha

Com enquadramento nas áreas de Ciência da Informação, Tecnologias de Informação e Comunicação e Educação, o estudo em voga visa formular propostas para o uso de rede social on-line de literatura infantil, em torno da biblioteca, para a educação básica, fundamentadas na teoria de comunidades de prática. O estudo de caso recaiu sobre quatro escolas, do 1º ciclo, da Educação Básica, do Agrupamento de Escolas de Aveiro-Portugal, tendo como instrumento para o experimento o Portal Biblon. A análise dos dados permite afirmar que a leitura de livros on-line não está inclusa nas atividades habituais da comunidade escolar pesquisada e, assim, o aluno encontra-se sem referencial para inserir esta prática cultural em suas rotinas e momentos de ócio. O cenário escolar atual não estimula a confluências da prática da leitura literária e da escrita dos alunos com as redes sociais on-line. O estudo aponta que, em uma rede social on-line, o livro de literatura infantil tem o papel de interagente, agregando leitores, em interação, em torno de si e que nas redes sociais on-line tem-se a presença dos “mediadores sociais centrais” que propiciam reforço e sustentação das práticas de leitura, através do contágio e da influência social e são propulsionadores da estrutura e do dinamismo da rede. Como conclusão geral tem-se que os utilizadores do Biblon desenvolvem experiências de leituras e escritas através da interação social, por meio de práticas, rotinas, diálogos e atividades comuns construídas na rede. A interação dentro da rede influencia o uso das ferramentas e o aprendizado para manuseá-las ocorre com as práticas. Assim, os laços associativos e as reações individuais envolvendo a leitura conduzem à formação de rede social em torno dos livros e os comportamentos e as preferências dos atores motivam a leitura e a escrita. Dessa forma, o Portal Biblon configura-se como um instrumento para formação de rede social on-line em torno da literatura infantil.

Escola, saúde e sociedade - estudos de avaliação de projetos de educação para a saúde

Considerando que a escola tem como missão formar cidadãos saudáveis, conscientes e responsáveis, é de importância primordial que a Educação para a Saúde (EpS) integre o Projeto Educativo (PE) e seja abordada de forma transversal, numa dimensão essencial ao percurso educativo e formativo dos jovens. Tendo em conta o contexto educativo concreto de cada escola/agrupamento e o quadro legislativo vigente, deve ser criado um Projeto de Educação para a Saúde (PEpS). Este terá como objetivo fomentar a capacitação (empowerment) de crianças e adolescentes, dotando-as de conhecimentos, atitudes e valores que os ajudem a fazer opções e a tomar decisões adequadas à saúde e ao bem-estar físico, social e mental. A partir da leitura efetuada do atual quadro de conhecimentos dos domínios abrangidos – avaliação, projetos e promoção e educação da saúde em meio escolar, constatou-se a escassez de estudos de avaliação, em Portugal, nesta área. No estudo multicasos desenvolvido, em que se explorou uma metodologia de índole qualitativa, procedeu-se à descrição e avaliação das dinâmicas de implementação de cinco PEpS. Os projetos foram avaliados a partir de cinco dimensões avaliativas (organizacional, comunitária, ecológica, psicossocial e curricular), em resultado da triangulação de dados recolhidos através de análise documental, de observações e da análise de entrevistas. A avaliação considerou o contexto e alicerçou-se sobre uma démarche de referencialização. Fez apelo a uma perspetiva de avaliação holística e interativa, como construção e coconstrução coletiva de sentido. O protocolo construído – “Referencial de Avaliação”, que se configura como um dos contributos deste estudo, compreendeu a seleção de critérios de qualidade para um PEpS, fundamentados na literatura da especialidade e de indicadores. O estudo evidenciou práticas consideradas de referência nas dinâmicas de implementação dos PEpS. Contudo, só para um dos projetos se registou os critérios de qualidade que o permitem definir como um “bom” projeto. A título de exemplo, refira-se a estrutura coesa da equipa educativa, cujos elementos têm funções claramente definidas, aliada a forte liderança. A análise dos resultados e a literatura consultada possibilitou definir recomendações, que se sistematizaram num guião de práticas de referência, nomeadamente, integração da EpS no PE, aposta numa forte liderança, trabalho de equipa e continuidade de ação. O guião apresenta-se como um contributo que pode potenciar a articulação entre teoria e prática no que respeita à implementação da EpS em escolas portuguesas.