Analysis of tongue shape and motion in speech production using statistical modeling

The mechanisms of speech production are complex and have been raising attention from researchers of both medical and computer vision fields. In the speech production mechanism, the articulator’s study is a complex issue, since they have a high level of freedom along this process, namely the tongue, which instigates a problem in its control and observation. In this work it is automatically characterized the tongues shape during the articulation of the oral vowels of Portuguese European by using statistical modeling on MR-images. A point distribution model is built from a set of images collected during artificially sustained articulations of Portuguese European sounds, which can extract the main characteristics of the motion of the tongue. The model built in this work allows under standing more clearly the dynamic speech events involved during sustained articulations. The tongue shape model built can also be useful for speech rehabilitation purposes, specifically to recognize the compensatory movements of the articulators during speech production.

Sistema de Visão Stereo Ativo aplicado aos robôs do ISePorto

A presente dissertação endereça o desenvolvimento de um sistema de visão stereo ativo para os robôs de futebol robótico da equipa ISePorto do ISEP, de modo a que estes tirem o máximo partido das câmaras rotativas neles existentes. Este trabalho surge da necessidade de melhorar a capacidade de perceção do ambiente por parte dos robôs, principalmente da perceção da bola quando não está no plano do campo e dos robôs adversários. Esta necessidade surge devido ao aumento da dinâmica que se tem vindo a veri car ultimamente nas competições. Para tal, foram estudados algumas trabalhos relacionados no que diz respeito a sistemas de visão stereo com baselines variáveis e eixos de rotação em ambas as câmaras, bem como fundamentos de visão stereo. Foi proposta uma arquitetura para o sistema de visão ativo de modo a ser aplicado em qualquer robô da equipa MSL (Middle Size League). Para tornar possível a implementação desta arquitetura foi desenvolvido um procedimento para a calibração e determinação em tempo real dos parâmetros extrínsecos do par stereo em função da posição angular dos eixos rotativos do robô. O sistema de visão foi também dotado de capacidade de sincronismo e foram implementadas funcionalidades ao nível de software que possibilitam a deteção de objetos na imagem, a correspondência de objetos presentes nas imagens de ambas as câmaras e consequentemente a determinação das posições tridimensionais desses objetos relativamente ao robô. O sistema desenvolvido foi testado e validado em cenário MSL ao nível de perceção da bola, robôs adversários e linhas do campo. Os resultados obtidos apresentam uma melhoria signi cativa, face à implementação atual dos robôs, na perceção tridimensional da bola quando não está no plano do campo, e dos robôs adversários.

Sistema de visão para aterragem automática de UAV

Dissertação para obtenção do grau de Mestre em Engenharia Electrotécnica Ramo de Automação e Electrónica Industrial

A influência do computador na integridade da visão binocular

Computer Vision Syndrome (CSV): 1) Conjunto de complicações desencadeadas com o acto de fixação para perto, que são experimentadas durante ou após o uso do computador; 2) Distúrbio caracterizado pelo esforço repetitivo de perto traduzindo-se em sintomas oculares e não oculares. Pertinência do estudo: os trabalhadores de telecomunicações desempenham actividades prolongadas de fixação para perto, o que pode originar queixas de fadiga visual devido ao stress exercido sob a convergência acomodativa. Objectivos do estudo: 1) Identificar quais os parâmetros da visão binocular que são mais influenciados pelo uso prolongado do computador; 2) Comparar a visão binocular em dois grupos de indivíduos com e sem sintomatologia ocular.

Damage analysis of carbon/epoxy plates after drilling

Drilling of composites plates normally uses traditional techniques but damage risk is high. NDT use is important. Damage in a carbon/epoxy plate is evaluated by enhanced X-rays. Four different drills are used. The images are analysed using Computational Vision techniques. Surface roughness is compared. Results suggest strategies for delamination reduction.

Navegação de robôs móveis por marcas artificiais em ambientes semi-estruturados

Mestrado em engenharia electrotécnica e de computadores - Área de Especialização de Sistemas Autónomos

Sistema de visão e laser para percepção em ambientes subaquáticos

A exploração do meio subaquático utilizando visão computacional é ainda um processo complexo. Geralmente são utilizados sistemas de visão baseados em visão stereo, no entanto, esta abordagem apresenta limitações, é pouco precisa e é exigente em termos computacionais quando o meio de operação é o subaquático. Estas limitações surgem principalmente em dois cenários de aplicação: quando existe escassez de iluminação e em operações junto a infraestruturas subaquáticas. Consequentemente, a solução reside na utilização de fontes de informação sensorial alternativas ou complementares ao sistema de visão computacional. Neste trabalho propõe-se o desenvolvimento de um sistema de percepção subaquático que combina uma câmara e um projetor laser de um feixe em linha, onde o projetor de luz estruturada _e utilizado como fonte de informação. Em qualquer sistema de visão computacional, e ainda mais relevante em sistemas baseados em triangulação, a sua correta calibração toma um papel fulcral para a qualidade das medidas obtidas com o sistema. A calibração do sistema de visão laser foi dividida em duas etapas. A primeira etapa diz respeito à calibração da câmara, onde são definidos os parâmetros intrínsecos e os parâmetros extrínsecos relativos a este sensor. A segunda etapa define a relação entre a câmara e o laser, sendo esta etapa necessária para a obtenção de imagens tridimensionais. Assim, um dos principais desafios desta dissertação passou por resolver o problema da calibração inerente a este sistema. Desse modo, foi desenvolvida uma ferramenta que requer, pelo menos duas fotos do padrão de xadrez, com perspectivas diferentes. O método proposto foi caracterizado e validado em ambientes secos e subaquáticos. Os resultados obtidos mostram que o sistema _e preciso e os valores de profundidade obtidos apresentam um erro significativamente baixo (inferiores a 1 mm), mesmo com uma base-line (distância entre a centro óptico da câmara e o plano de incidência do laser) reduzida.

Avaliação da Segurança Alimentar nas cozinhas das escolas do concelho de Celorico de Basto

Dissertação de Mestrado em Gestão Integrada da Qualidade, ambiente e Segurança

Distributed Sensing of Fluid Dynamic Phenomena with the XDense Sensor Grid Network

IEEE International Conference on Cyber Physical Systems, Networks and Applications (CPSNA'15), Hong Kong, China.

Método de correspondência para sistemas de visão multi-câmara

Os sistemas de perceção visual são das principais fontes de informação sensorial utilizadas pelos robôs autónomos, para localização e navegação em diferentes meios de operação. O objetivo passa por obter uma grande quantidade de informação sobre o ambiente que a câmara está a visualizar, processar e extrair informação que permita realizar as tarefas de uma forma e ciente. Uma informação em particular que os sistemas de visão podem fornecer, e a informação tridimensional acerca do meio envolvente. Esta informação pode ser adquirida recorrendo a sistemas de visão monoculares ou com múltiplas câmaras. Nestes sistemas a informação tridimensional pode ser obtida recorrendo a técnica de triangulação, tirando partido do conhecimento da posição relativa entre as câmaras. No entanto, para calcular as coordenadas de um ponto tridimensional no referencial da câmara e necessário existir correspondência entre pontos comuns às imagens adquiridas pelo sistema. No caso de más correspondências a informação 3D e obtida de forma incorreta. O problema associado à correspondência de pontos pode ser agravado no caso das câmaras do sistema terem características intrínsecas diferentes nomeadamente: resolução, abertura da lente, distorção. Outros fatores como as orientações e posições das câmaras também podem condicionar a correspondência de pontos. Este trabalho incide sobre problemática de correspondência de pontos existente no processo de cálculo da informação tridimensional. A presente dissertação visa o desenvolvimento de uma abordagem de correspondência de pontos para sistemas de visão no qual é conhecida a posição relativa entre câmaras.

Calibração de Roscados

Na presente dissertação é proposto o desenvolvimento de um novo sistema de calibração de roscados de exteriores através de visão computacional. A calibração de roscados de exterior consiste na obtenção do diâmetro efectivo, do diâmetro exterior e do passo, e no cálculo da incerteza expandida correspondente. Actualmente, a calibração é efectuada com o auxílio de máquinas universais (SIP), na qual o diâmetro efectivo é obtido através de um modelo matemático, pois não se consegue obtê-lo directamente. O sistema de calibração por visão computacional tem como objectivo obter-se o diâmetro efectivo directamente, assim como as restantes características. A vantagem deste novo sistema será para roscados com dimensões inferiores a 2 mm, que não se conseguem medir utilizando a SIP. A desvantagem é referente a diâmetros superiores a 2 mm, devido à resolução obtida com a câmara utilizada. Este sistema foi validado por comparação com a calibração utilizando como equipamento calibrador a SIP. Ao longo da dissertação irão ser explicados todos os passos dados para a calibração de roscados de exterior.

Gesture based interface for image annotation

Dissertação apresentada para obtenção do Grau de Mestre em Engenharia Informática pela Universidade Nova de Lisboa, Faculdade de Ciências e Tecnologia

Aquisição por Visão Artificial e Medição Automática de Micro Dureza Vickers

O ensaio de dureza, e mais concretamente o ensaio de micro dureza Vickers, é no universo dos ensaios mecânicos um dos mais utilizados quer seja na indústria, no ensino ou na investigação e desenvolvimento de produto no âmbito das ciências dos materiais. Na grande maioria dos casos, a utilização deste ensaio tem como principal aplicação a caracterização ou controlo da qualidade de fabrico de materiais metálicos. Sendo um ensaio de relativa simplicidade de execução, rapidez e com resultados comparáveis e relacionáveis a outras grandezas físicas das propriedades dos materiais. Contudo, e tratando-se de um método de ensaio cuja intervenção humana é importante, na medição da indentação gerada por penetração mecânica através de um sistema ótico, não deixa de exibir algumas debilidades que daí advêm, como sendo o treino dos técnicos e respetivas acuidades visuais, fenómenos de fadiga visual que afetam os resultados ao longo de um turno de trabalho; ora estes fenómenos afetam a repetibilidade e reprodutibilidade dos resultados obtidos no ensaio. O CINFU possui um micro durómetro Vickers, cuja realização dos ensaios depende de um técnico treinado para a execução do mesmo, apresentando todas as debilidades já mencionadas e que o tornou elegível para o estudo e aplicação de uma solução alternativa. Assim, esta dissertação apresenta o desenvolvimento de uma solução alternativa ao método ótico convencional na medição de micro dureza Vickers. Utilizando programação em LabVIEW da National Instruments, juntamente com as ferramentas de visão computacional (NI Vision), o programa começa por solicitar ao técnico a seleção da câmara para aquisição da imagem digital acoplada ao micro durómetro, seleção do método de ensaio (Força de ensaio); posteriormente o programa efetua o tratamento da imagem (aplicação de filtros para eliminação do ruído de fundo da imagem original), segue-se, por indicação do operador, a zona de interesse (ROI) e por sua vez são identificadas automaticamente os vértices da calote e respetivas distâncias das diagonais geradas concluindo, após aceitação das mesmas, com o respetivo cálculo de micro dureza resultante. Para validação dos resultados foram utilizados blocos-padrão de dureza certificada (CRM), cujos resultados foram satisfatórios, tendo-se obtido um elevado nível de exatidão nas medições efetuadas. Por fim, desenvolveu-se uma folha de cálculo em Excel com a determinação da incerteza associada às medições de micro dureza Vickers. Foram então comparados os resultados nas duas metodologias possíveis, pelo método ótico convencional e pela utilização das ferramentas de visão computacional, tendo-se obtido bons resultados com a solução proposta.

UAV - based imagery processing using structure from motion and remote sensing technology

With the recent advances in technology and miniaturization of devices such as GPS or IMU, Unmanned Aerial Vehicles became a feasible platform for a Remote Sensing applications. The use of UAVs compared to the conventional aerial platforms provides a set of advantages such as higher spatial resolution of the derived products. UAV - based imagery obtained by a user grade cameras introduces a set of problems which have to be solved, e. g. rotational or angular differences or unknown or insufficiently precise IO and EO camera parameters. In this work, UAV - based imagery of RGB and CIR type was processed using two different workflows based on PhotoScan and VisualSfM software solutions resulting in the DSM and orthophoto products. Feature detection and matching parameters influence on the result quality as well as a processing time was examined and the optimal parameter setup was presented. Products of the both workflows were compared in terms of a quality and a spatial accuracy. Both workflows were compared by presenting the processing times and quality of the results. Finally, the obtained products were used in order to demonstrate vegetation classification. Contribution of the IHS transformations was examined with respect to the classification accuracy.

The brushstroke and materials of Amadeo de Souza-Cardoso combined in an authentication tool

Nowadays, authentication studies for paintings require a multidisciplinary approach, based on the contribution of visual features analysis but also on characterizations of materials and techniques. Moreover, it is important that the assessment of the authorship of a painting is supported by technical studies of a selected number of original artworks that cover the entire career of an artist. This dissertation is concerned about the work of modernist painter Amadeo de Souza-Cardoso. It is divided in three parts. In the first part, we propose a tool based on image processing that combines information obtained by brushstroke and materials analysis. The resulting tool provides qualitative and quantitative evaluation of the authorship of the paintings; the quantitative element is particularly relevant, as it could be crucial in solving authorship controversies, such as judicial disputes. The brushstroke analysis was performed by combining two algorithms for feature detection, namely Gabor filter and Scale Invariant Feature Transform. Thanks to this combination (and to the use of the Bag-of-Features model), the proposed method shows an accuracy higher than 90% in distinguishing between images of Amadeo’s paintings and images of artworks by other contemporary artists. For the molecular analysis, we implemented a semi-automatic system that uses hyperspectral imaging and elemental analysis. The system provides as output an image that depicts the mapping of the pigments present, together with the areas made using materials not coherent with Amadeo’s palette, if any. This visual output is a simple and effective way of assessing the results of the system. The tool proposed based on the combination of brushstroke and molecular information was tested in twelve paintings obtaining promising results. The second part of the thesis presents a systematic study of four selected paintings made by Amadeo in 1917. Although untitled, three of these paintings are commonly known as BRUT, Entrada and Coty; they are considered as his most successful and genuine works. The materials and techniques of these artworks have never been studied before. The paintings were studied with a multi-analytical approach using micro-Energy Dispersive X-ray Fluorescence spectroscopy, micro-Infrared and Raman Spectroscopy, micro-Spectrofluorimetry and Scanning Electron Microscopy. The characterization of Amadeo’s materials and techniques used on his last paintings, as well as the investigation of some of the conservation problems that affect these paintings, is essential to enrich the knowledge on this artist. Moreover, the study of the materials in the four paintings reveals commonalities between the paintings BRUT and Entrada. This observation is supported also by the analysis of the elements present in a photograph of a collage (conserved at the Art Library of the Calouste Gulbenkian Foundation), the only remaining evidence of a supposed maquete of these paintings. The final part of the thesis describes the application of the image processing tools developed in the first part of the thesis on a set of case studies; this experience demonstrates the potential of the tool to support painting analysis and authentication studies. The brushstroke analysis was used as additional analysis on the evaluation process of four paintings attributed to Amadeo, and the system based on hyperspectral analysis was applied on the painting dated 1917. The case studies therefore serve as a bridge between the first two parts of the dissertation.