Voz e emoção em português europeu

No trabalho apresentado realiza-se uma primeira descrição de voz e emoção para o Português Europeu. Estudamos, utilizando como base estudos realizados em diversas línguas (finlandês; inglês; alemão), os parâmetros relacionados com voz e que variam consoante a emoção que expressamos. Analisamos assim os parâmetros relacionados com a frequência Fundamental (F0) com a perturbação (jitter) com a amplitude (shimmer) e com aspectos relacionados com o ruído (HNR). Trata-se de um estudo abrangente que estudando voz e a sua relação/variação de acordo com a emoção o faz em três vertentes: patologia de voz de origem psicogénica (carácter emocional); emoção produzida por actores e a análise de emoção espontânea. Conseguindo, como trabalho pioneiro nesta área, valores para todos estes tipos de produção. Salientamos o facto de no nosso trabalho apenas existir a análise de voz sem recurso a expressão facial ou à postura dos indivíduos. Para que pudéssemos realizar estudos comparativos com os dados que íamos recolhendo em cada corpus (patologia; emoção por actor e emoção espontânea), procurámos utilizar sempre os mesmos métodos de análise (Praat; SFS; SPSS, Hoarseness Diagram – para a análise de voz com patologia - e o sistema Feeltrace - para as emoções espontâneas). Os estudos e análises relativos à emoção produzida por actores são complementados por testes de percepção aplicados a falantes nativos de Inglês Americano e a falantes de Português Europeu. Este teste, juntamente com a análise da emoção espontânea, permitiu-nos retirar dados particulares relativos à língua portuguesa. Apesar de haver tanto na expressão como na percepção de emoções muitas características consideradas universais, em Português percebe-se algo de peculiar. Os valores para a expressão neutra; tristeza e alegria são todos muito próximos, ao contrário do que acontece noutras línguas. Além disso estas três emoções (de famílias distintas) são as que mais dificuldades causam (aos dois grupos de informantes) em termos de distinção no teste de percepção. Poderá ser esta a particularidade da expressão da emoção no Português Europeu, podendo estar ligada a factores culturais. Percebe-se ainda, com este trabalho, que a emoção expressa pelo actor se aproxima da emoção espontânea. No entanto, alguns parâmetros apresentam valores diferentes, isto porque o actor tem a tendência de exagerar a emoção. Com este trabalho foram criados corpora originais que serão um recurso importante a disponibilizar para futuras análises numa área que é ainda deficitária, em termos de investigação científica, em Portugal. Tanto os corpora, como respectivos resultados obtidos poderão vir a ser úteis em áreas como as Ciências da Fala; Robótica e Docência.

Automatic information and safety systems for driving assistance

O objeto principal desta tese é o estudo de algoritmos de processamento e representação automáticos de dados, em particular de informação obtida por sensores montados a bordo de veículos (2D e 3D), com aplicação em contexto de sistemas de apoio à condução. O trabalho foca alguns dos problemas que, quer os sistemas de condução automática (AD), quer os sistemas avançados de apoio à condução (ADAS), enfrentam hoje em dia. O documento é composto por duas partes. A primeira descreve o projeto, construção e desenvolvimento de três protótipos robóticos, incluindo pormenores associados aos sensores montados a bordo dos robôs, algoritmos e arquitecturas de software. Estes robôs foram utilizados como plataformas de ensaios para testar e validar as técnicas propostas. Para além disso, participaram em várias competições de condução autónoma tendo obtido muito bons resultados. A segunda parte deste documento apresenta vários algoritmos empregues na geração de representações intermédias de dados sensoriais. Estes podem ser utilizados para melhorar técnicas já existentes de reconhecimento de padrões, deteção ou navegação, e por este meio contribuir para futuras aplicações no âmbito dos AD ou ADAS. Dado que os veículos autónomos contêm uma grande quantidade de sensores de diferentes naturezas, representações intermédias são particularmente adequadas, pois podem lidar com problemas relacionados com as diversas naturezas dos dados (2D, 3D, fotométrica, etc.), com o carácter assíncrono dos dados (multiplos sensores a enviar dados a diferentes frequências), ou com o alinhamento dos dados (problemas de calibração, diferentes sensores a disponibilizar diferentes medições para um mesmo objeto). Neste âmbito, são propostas novas técnicas para a computação de uma representação multi-câmara multi-modal de transformação de perspectiva inversa, para a execução de correcção de côr entre imagens de forma a obter mosaicos de qualidade, ou para a geração de uma representação de cena baseada em primitivas poligonais, capaz de lidar com grandes quantidades de dados 3D e 2D, tendo inclusivamente a capacidade de refinar a representação à medida que novos dados sensoriais são recebidos.

Comunicação humano-robô através de linguagem falada

Nos últimos anos, as tecnologias que dão suporte à robótica avançaram expressivamente. É possível encontrar robôs de serviço nos mais variados campos. O próximo passo é o desenvolvimento de robôs inteligentes, com capacidade de comunicação em linguagem falada e de realizar trabalhos úteis em interação/cooperação com humanos. Torna-se necessário, então, encontrar um modo de interagir eficientemente com esses robôs, e com agentes inteligentes de maneira geral, que permita a transmissão de conhecimento em ambos os sentidos. Partiremos da hipótese de que é possível desenvolver um sistema de diálogo baseado em linguagem natural falada que resolva esse problema. Assim, o objetivo principal deste trabalho é a definição, implementação e avaliação de um sistema de diálogo utilizável na interação baseada em linguagem natural falada entre humanos e agentes inteligentes. Ao longo deste texto, mostraremos os principais aspectos da comunicação por linguagem falada, tanto entre os humanos, como também entre humanos e máquinas. Apresentaremos as principais categorias de sistemas de diálogo, com exemplos de alguns sistemas implementados, assim como ferramentas para desenvolvimento e algumas técnicas de avaliação. A seguir, entre outros aspectos, desenvolveremos os seguintes: a evolução levada a efeito na arquitetura computacional do Carl, robô utilizado neste trabalho; o módulo de aquisição e gestão de conhecimento, desenvolvido para dar suporte à interação; e o novo gestor de diálogo, baseado na abordagem de “Estado da Informação”, também concebido e implementado no âmbito desta tese. Por fim, uma avaliação experimental envolvendo a realização de diversas tarefas de interação com vários participantes voluntários demonstrou ser possível interagir com o robô e realizar as tarefas solicitadas. Este trabalho experimental incluiu avaliação parcial de funcionalidades, avaliação global do sistema de diálogo e avaliação de usabilidade.

Grounding human vocabulary in robot perception through interaction

This thesis addresses the problem of word learning in computational agents. The motivation behind this work lies in the need to support language-based communication between service robots and their human users, as well as grounded reasoning using symbols relevant for the assigned tasks. The research focuses on the problem of grounding human vocabulary in robotic agent’s sensori-motor perception. Words have to be grounded in bodily experiences, which emphasizes the role of appropriate embodiments. On the other hand, language is a cultural product created and acquired through social interactions. This emphasizes the role of society as a source of linguistic input. Taking these aspects into account, an experimental scenario is set up where a human instructor teaches a robotic agent the names of the objects present in a visually shared environment. The agent grounds the names of these objects in visual perception. Word learning is an open-ended problem. Therefore, the learning architecture of the agent will have to be able to acquire words and categories in an openended manner. In this work, four learning architectures were designed that can be used by robotic agents for long-term and open-ended word and category acquisition. The learning methods used in these architectures are designed for incrementally scaling-up to larger sets of words and categories. A novel experimental evaluation methodology, that takes into account the openended nature of word learning, is proposed and applied. This methodology is based on the realization that a robot’s vocabulary will be limited by its discriminatory capacity which, in turn, depends on its sensors and perceptual capabilities. An extensive set of systematic experiments, in multiple experimental settings, was carried out to thoroughly evaluate the described learning approaches. The results indicate that all approaches were able to incrementally acquire new words and categories. Although some of the approaches could not scale-up to larger vocabularies, one approach was shown to learn up to 293 categories, with potential for learning many more.

Perception and software architecture for mobile robotics

When developing software for autonomous mobile robots, one has to inevitably tackle some kind of perception. Moreover, when dealing with agents that possess some level of reasoning for executing their actions, there is the need to model the environment and the robot internal state in a way that it represents the scenario in which the robot operates. Inserted in the ATRI group, part of the IEETA research unit at Aveiro University, this work uses two of the projects of the group as test bed, particularly in the scenario of robotic soccer with real robots. With the main objective of developing algorithms for sensor and information fusion that could be used e ectively on these teams, several state of the art approaches were studied, implemented and adapted to each of the robot types. Within the MSL RoboCup team CAMBADA, the main focus was the perception of ball and obstacles, with the creation of models capable of providing extended information so that the reasoning of the robot can be ever more e ective. To achieve it, several methodologies were analyzed, implemented, compared and improved. Concerning the ball, an analysis of ltering methodologies for stabilization of its position and estimation of its velocity was performed. Also, with the goal keeper in mind, work has been done to provide it with information of aerial balls. As for obstacles, a new de nition of the way they are perceived by the vision and the type of information provided was created, as well as a methodology for identifying which of the obstacles are team mates. Also, a tracking algorithm was developed, which ultimately assigned each of the obstacles a unique identi er. Associated with the improvement of the obstacles perception, a new algorithm of estimating reactive obstacle avoidance was created. In the context of the SPL RoboCup team Portuguese Team, besides the inevitable adaptation of many of the algorithms already developed for sensor and information fusion and considering that it was recently created, the objective was to create a sustainable software architecture that could be the base for future modular development. The software architecture created is based on a series of di erent processes and the means of communication among them. All processes were created or adapted for the new architecture and a base set of roles and behaviors was de ned during this work to achieve a base functional framework. In terms of perception, the main focus was to de ne a projection model and camera pose extraction that could provide information in metric coordinates. The second main objective was to adapt the CAMBADA localization algorithm to work on the NAO robots, considering all the limitations it presents when comparing to the MSL team, especially in terms of computational resources. A set of support tools were developed or improved in order to support the test and development in both teams. In general, the work developed during this thesis improved the performance of the teams during play and also the e ectiveness of the developers team when in development and test phases.

Visão activa para robô cognitivo

Dissertação de mest., Engenharia Eléctrica e Electrónica (Tecnologias de Informação e Telecomunicações), Instituto Superior de Engenharia, Univ. do Algarve, 2011

Predicting intention to work with social robots

The growing number of robotic solutions geared to interact socially with humans, social robots, urge the study of the factors that will facilitate or hinder future human robot collaboration. Hence the research question: what are the factors that predict intention to work with a social robot in the near future. To answer this question the following socio-cognitive models were studied, the theory of reasoned action, the theory of planned behavior and the model of goal directed behavior. These models purport that all the other variables will only have an indirect effect on behavior. That is, through the variables of the model. Based on the research on robotics and social perception/ cognition, social robot appearance, belief in human nature uniqueness, perceived warmth, perceived competence, anthropomorphism, negative attitude towards robots with human traits and negative attitudes towards interactions with robots were studied for their effects on attitude towards working with a social robot, perceived behavioral control, positive anticipated emotions and negative anticipated emotions. Study 1 identified the social representation of robot. Studies 2 to 5 investigated the psychometric properties of the Portuguese version of the negative attitude towards robots scale. Study 6 investigated the psychometric properties of the belief in human nature uniqueness scale. Study 7 tested the theory of reasoned action and the theory of planned behavior. Study 8 tested the model of goal directed behavior. Studies 7 and 8 also tested the role of the external variables. Study 9 tested and compared the predictive power of the three socio-cognitive models. Finally conclusion are drawn from the research results, and future research suggestions are offered.

O robot NXT Mindstorms e a área de projecto

Tese de mestrado, Educação (Tecnologias de Informação e Comunicação e Educação), Universidade de Lisboa, Instituto de Educação, 2010

A promoção da motivação pela competição : área disciplinar não curricular, área de projecto do 12º ano

Relatório da prática de ensino supervisionada, Mestrado em Ensino da Informática, Universidade de Lisboa, Instituto de Educação, 2011

Sistema eletromecânico para controlo intuitivo dos movimentos de uma sonda transesofágica

O ser humano realiza uma alimentação pouco variada, com grandes teores de açúcar e gorduras saturadas, ao mesmo tempo, está sujeito a profissões cada vez mais competitivas aonde passa longos períodos sentados sem qualquer esforço físico. Estes aspetos levam à acumulação de gorduras em redor de todos os órgãos, que promovem o aparecimento de problemas cardiovascular, que são atualmente, a principal causa de morte no mundo. O tratamento das doenças cardiovasculares é em muitas situações realizado por procedimentos minimamente-invasivos, que são guiados através de imagem médica. Contudo, a utilização de radiação durante a navegação é normalmente requerida o que tem consequências para o paciente e para a equipa médica. Nesta dissertação, focamo-nos nos recentes sistemas de aquisição de imagem sem radiação e no desenvolvimento de sistemas mais inteligentes para facilitar o controlo destes equipamentos durante o procedimento. Assim, pretendemos desenvolver um robô que apoie na aquisição de imagens de ultrassons através de uma sonda transesofágica. O robô desenvolvido possui um conjunto de engrenagens que fazem a transferência de movimento para as rodas dos manípulos da sonda e um encoder magnético que proporciona uma leitura rápida e de alta precisão dos movimentos da sonda. De forma a automaticamente adaptar a posição da sonda na direção do alvo anatómico, um sistema de motion tracking foi acoplado ao robô e ao instrumento cirúrgico utilizado durante o procedimento. Assim, todos os movimentos realizados pelo intervencionista são repetidos pela sonda, permitindo assim adquirir uma imagem de ultrassom sempre centrada no instrumento cirúrgico. Para avaliar a performance do robô foram realizados testes em laboratório. mais concretamente: 1) controlo do robô sem sonda acoplada e 2) controlo do robô com sonda acoplada. Os testes foram realizados com diferentes posições angulares, em todas as gamas de funcionamento do robô, avaliando o erro da posição final em relação posição desejada e o tempo de resposta. Os resultados demonstraram que um erro médio de 2º foi observado para as diferentes situações com um tempo médio de resposta de 300 ms. Os resultados alcançados demonstraram uma boa resposta do sistema, pelo que se espera que sistema desenvolvido venha ser capaz de reduzir o tempo de intervenção, aumentando a qualidade da intervenção e minimizando possíveis erros.

Algoritmo neurogenético com vistas para o planejamento de rotas de robôs móveis autônomos

Pós-graduação em Ciência da Computação - IBILCE

Biomechanical modeling and simulation of the spider crab (maja brachydactyla)

Uma linha de pesquisa e desenvolvimento na área da robótica, que tem recebido atenção crescente nos últimos anos, é o desenvolvimento de robôs biologicamente inspirados. A ideia é adquirir conhecimento de seres biológicos, cuja evolução ocorreu ao longo de milhões de anos, e aproveitar o conhecimento assim adquirido para implementar a locomoção pelos mesmos métodos (ou pelo menos usar a inspiração biológica) nas máquinas que se constroem. Acredita-se que desta forma é possível desenvolver máquinas com capacidades semelhantes às dos seres biológicos em termos de capacidade e eficiência energética de locomoção. Uma forma de compreender melhor o funcionamento destes sistemas, sem a necessidade de desenvolver protótipos dispendiosos e com longos tempos de desenvolvimento é usar modelos de simulação. Com base nestas ideias, o objectivo deste trabalho passa por efectuar um estudo da biomecânica da santola (Maja brachydactyla), uma espécie de caranguejo comestível pertencente à família Majidae de artrópodes decápodes, usando a biblioteca de ferramentas SimMechanics da aplicação Matlab / Simulink. Esta tese descreve a anatomia e locomoção da santola, a sua modelação biomecânica e a simulação do seu movimento no ambiente Matlab / SimMechanics e SolidWorks.

Planeamento de rota em ambiente desconhecido

Dissertação para a obtenção do grau de Mestre em Engenharia Electrotécnica Ramo de Automação e Electrónica Industrial

Desenvolvimento de programação offline e de novos processos robotizados de lixamento

Atualmente a vantagem competitiva de uma empresa passa pela sua rápida adaptação às variações de procura do mercado, sendo necessário garantir elevados níveis de produtividade e, simultaneamente, grande flexibilidade, indispensável ao fabrico de pequenos lotes. A necessidade de ajuste do processo e a diminuição da média de vida do produto levam a paragens cada vez mais frequentes da célula de fabrico para programação e afinação, com consequentes perdas de produtividade. De forma a dar resposta a estes problemas, neste trabalho é testada a viabilidade da utilização da programação e simulação offline de tarefas de lixamento na Grohe Portugal, complementando a solução com o desenvolvimento de um novo método de afinação do programa, permitindo uma adaptação às flutuações do processo produtivo. Para isso foi necessário analisar o estado da arte dos robôs industriais na área de acabamento superficial e respetivos métodos de programação. Em seguida, após um trabalho prévio rigoroso de preparação e modelação da célula de trabalho, é possível fazer a programação offline das várias rotinas e trajetórias complexas que compõem um ciclo de lixamento de um produto, contribuindo para o aumento da qualidade do produto final sem comprometer os níveis de produtividade. Nesta dissertação são descritos e detalhados alguns dos procedimentos fulcrais no sucesso da aplicação deste método de programação. Por último é feita uma nova abordagem ao método de ajuste ponto-a-ponto convencional, desenvolvendo-se para isso um sistema de ajuste automático do programa, dotando o robô da capacidade de se adaptar às variações do processo, assegurando a consistência do mesmo. Foram realizados testes em pequena escala, extrapolando-se os resultados para a aplicação deste novo método no processo produtivo da Grohe Portugal, como forma de complemento ao método convencional de ajuste ponto-a-ponto do programa, reduzindo o tempo de paragem da célula de trabalho.

Os robots na aprendizagem da trignometria

Este trabalho foi elaborado no âmbito do Mestrado de Ensino de Matemática do 3º Ciclo do Ensino Básico e Secundário da Universidade da Madeira, no ano letivo de 2012/2013. Os grandes objetivos deste estudo são os de analisar qualitativamente uma atividade, para compreender como é que os alunos aprendem trigonometria, utilizando os robots NXT da Lego. De igual modo, se procede também, de forma sucinta, à apresentação do trabalho desenvolvido pelo grupo de estágio, ao longo da Prática de Ensino Supervisionado. Para a realização da investigação, foram recolhidos dados pelo investigador, através de registos audiovisuais do trabalho dos alunos, com câmara e vídeo. Com o fim de melhor estudar o problema aqui apresentado, o mesmo foi dissecado em três questões de investigação: (a) Que aprendizagens os alunos realizam com a montagem, programação e interação com os robots? (b) De que forma é que os alunos aprendem trigonometria, quando utilizam os Robots? (c) Quais as dificuldades manifestadas pelos alunos na resolução de problemas? As questões de investigação iluminaram a análise dos dados. Das conclusões que advêm deste estudo destaca-se o papel essencial da robótica e dos materiais manipuláveis, na construção e concetualização do conhecimento dos alunos.