Método de correspondência para sistemas de visão multi-câmara

Os sistemas de perceção visual são das principais fontes de informação sensorial utilizadas pelos robôs autónomos, para localização e navegação em diferentes meios de operação. O objetivo passa por obter uma grande quantidade de informação sobre o ambiente que a câmara está a visualizar, processar e extrair informação que permita realizar as tarefas de uma forma e ciente. Uma informação em particular que os sistemas de visão podem fornecer, e a informação tridimensional acerca do meio envolvente. Esta informação pode ser adquirida recorrendo a sistemas de visão monoculares ou com múltiplas câmaras. Nestes sistemas a informação tridimensional pode ser obtida recorrendo a técnica de triangulação, tirando partido do conhecimento da posição relativa entre as câmaras. No entanto, para calcular as coordenadas de um ponto tridimensional no referencial da câmara e necessário existir correspondência entre pontos comuns às imagens adquiridas pelo sistema. No caso de más correspondências a informação 3D e obtida de forma incorreta. O problema associado à correspondência de pontos pode ser agravado no caso das câmaras do sistema terem características intrínsecas diferentes nomeadamente: resolução, abertura da lente, distorção. Outros fatores como as orientações e posições das câmaras também podem condicionar a correspondência de pontos. Este trabalho incide sobre problemática de correspondência de pontos existente no processo de cálculo da informação tridimensional. A presente dissertação visa o desenvolvimento de uma abordagem de correspondência de pontos para sistemas de visão no qual é conhecida a posição relativa entre câmaras.

Calibração automática de sistemas de visão estéreo a partir de movimentos desconhecidos

Esta dissertação apresenta um método para calibração automática de um par de câmeras que realiza um movimento desconhecido. O processo de calibração aqui descrito é baseado inteiramente na rigidez da cena observada e na invariabilidade dos parâmetros intrínsecos das câmeras durante o movimento. Não há a necessidade de nenhum artefato de calibração especial. Este trabalho mostra uma abordagem completa, desde o processo de casamento de pontos até a estimação dos parâmetros da câmera. Não é feita nenhuma suposição sobre o movimento das câmeras, tampouco sobre a disposição da cena 3D. Exemplos de aplicações deste método estão nos experimentos onde a calibração das câmeras precisa ser realizada remotamente, dificultando o posicionamento de artefatos de calibração na cena alvo, como é o caso para robôs de exploração interplanetária.

Sistema de Visão Stereo Ativo aplicado aos robôs do ISePorto

A presente dissertação endereça o desenvolvimento de um sistema de visão stereo ativo para os robôs de futebol robótico da equipa ISePorto do ISEP, de modo a que estes tirem o máximo partido das câmaras rotativas neles existentes. Este trabalho surge da necessidade de melhorar a capacidade de perceção do ambiente por parte dos robôs, principalmente da perceção da bola quando não está no plano do campo e dos robôs adversários. Esta necessidade surge devido ao aumento da dinâmica que se tem vindo a veri car ultimamente nas competições. Para tal, foram estudados algumas trabalhos relacionados no que diz respeito a sistemas de visão stereo com baselines variáveis e eixos de rotação em ambas as câmaras, bem como fundamentos de visão stereo. Foi proposta uma arquitetura para o sistema de visão ativo de modo a ser aplicado em qualquer robô da equipa MSL (Middle Size League). Para tornar possível a implementação desta arquitetura foi desenvolvido um procedimento para a calibração e determinação em tempo real dos parâmetros extrínsecos do par stereo em função da posição angular dos eixos rotativos do robô. O sistema de visão foi também dotado de capacidade de sincronismo e foram implementadas funcionalidades ao nível de software que possibilitam a deteção de objetos na imagem, a correspondência de objetos presentes nas imagens de ambas as câmaras e consequentemente a determinação das posições tridimensionais desses objetos relativamente ao robô. O sistema desenvolvido foi testado e validado em cenário MSL ao nível de perceção da bola, robôs adversários e linhas do campo. Os resultados obtidos apresentam uma melhoria signi cativa, face à implementação atual dos robôs, na perceção tridimensional da bola quando não está no plano do campo, e dos robôs adversários.

Sistema de visão e laser para percepção em ambientes subaquáticos

A exploração do meio subaquático utilizando visão computacional é ainda um processo complexo. Geralmente são utilizados sistemas de visão baseados em visão stereo, no entanto, esta abordagem apresenta limitações, é pouco precisa e é exigente em termos computacionais quando o meio de operação é o subaquático. Estas limitações surgem principalmente em dois cenários de aplicação: quando existe escassez de iluminação e em operações junto a infraestruturas subaquáticas. Consequentemente, a solução reside na utilização de fontes de informação sensorial alternativas ou complementares ao sistema de visão computacional. Neste trabalho propõe-se o desenvolvimento de um sistema de percepção subaquático que combina uma câmara e um projetor laser de um feixe em linha, onde o projetor de luz estruturada _e utilizado como fonte de informação. Em qualquer sistema de visão computacional, e ainda mais relevante em sistemas baseados em triangulação, a sua correta calibração toma um papel fulcral para a qualidade das medidas obtidas com o sistema. A calibração do sistema de visão laser foi dividida em duas etapas. A primeira etapa diz respeito à calibração da câmara, onde são definidos os parâmetros intrínsecos e os parâmetros extrínsecos relativos a este sensor. A segunda etapa define a relação entre a câmara e o laser, sendo esta etapa necessária para a obtenção de imagens tridimensionais. Assim, um dos principais desafios desta dissertação passou por resolver o problema da calibração inerente a este sistema. Desse modo, foi desenvolvida uma ferramenta que requer, pelo menos duas fotos do padrão de xadrez, com perspectivas diferentes. O método proposto foi caracterizado e validado em ambientes secos e subaquáticos. Os resultados obtidos mostram que o sistema _e preciso e os valores de profundidade obtidos apresentam um erro significativamente baixo (inferiores a 1 mm), mesmo com uma base-line (distância entre a centro óptico da câmara e o plano de incidência do laser) reduzida.

Automatização de sistemas de inspeção COGNEX

Com um mercado automóvel cada vez mais competitivo e com os construtores automóveis à procura de atingir os zero defeitos nos seus produtos, a Bosch Car Multimédia Portugal S.A, fabricante de sistemas multimédia para o mercado automóvel, tem como objetivo a qualidade perfeita dos seus produtos. Tal perfeição exige processos de fabrico cada vez mais evoluídos e com melhores sistemas de auxílio à montagem. Nesse sentido, a incorporação de sistemas de visão artificial para verificação da montagem correta dos componentes em sistemas multimédia tem vindo a crescer largamente. Os sistemas de inspeção visual da Cognex tornaram-se o standard da Bosch para a verifi-cação da montagem de componentes por serem sistemas bastante completos, fáceis de con-figurar e com um suporte técnico bastante completo. Estes sistemas têm vindo a ser inte-grados em diversas máquinas (postos) de montagem e nunca foi desenvolvida uma ferra-menta normalizada para integração destes sistemas com as máquinas. A ideia principal deste projeto passou por desenvolver um sistema (uma aplicação informá-tica) que permita controlar os indicadores de qualidade destes sistemas de visão, garantir o seguimento dos produtos montados e, ao mesmo tempo, efetuar cópias de segurança de todo o sistema para utilização em caso de avaria ou de troca de equipamento. Tal sistema foi desenvolvido recorrendo à programação de uma Dynamic Link Library (DLL), através da linguagem VisualBasic.NET, que permite às aplicações dos equipamen-tos (máquinas) da Bosch Car Multimédia comunicarem de uma forma universal e transpa-rente com os sistemas de inspeção visual da marca Cognex. Os objetivos a que o autor se propôs no desenvolvimento deste sistema foram na sua maioria alcançados e o projeto encontra-se atualmente implementado e em execução nas linhas de produção da Bosch Car Multimédia.

Modelagem fotogramétrica e calibração de um sistema de visão omnidirecional

Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)

Análise de regiões em cenários agrícolas utilizando um sistema de visão catadióptrico

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Detecção de regiões em cenários naturais utilizando um sistema de visão catadioptrico

Esse trabalho utiliza um sistema de visão catadióptrico para capturar imagens de um cenário natural agrícola e realizar o levantamento de regiões que possam auxiliar diversas aplicações na área da Robótica Móvel Agrícola. Os sistemas de visão catadióptricos buscam capturar uma imagem 360° do ambiente a partir da combinação de lentes e espelhos. A imagem omnidirecional é retificada e seus quadrantes são extraídos, originando quatro novas imagens que representam lados de visão do veículo. Uma etapa de segmentação por cor é proposta utilizando como base o algoritmo Otsu Thresholding. No final do processo, é possível visualizar as regiões de interesse de cada quadrante.

Comparação da medida de cor de pescado entre sistema de visão computacional e colorímetro convencional no frescor do pescado

A cor da superfície dos alimentos é o primeiro parâmetro de qualidade avaliado pelos consumidores, e é critico para a aceitação do produto, então a medição adequada da cor é uma importante ferramenta. Nesta pesquisa avaliou-se a variação da cor em corvina (Micropogonias furnieri) armazenada em gelo durante 16 dias; os parâmetros de luminosidade (L*), valor cromático a*, valor cromático b*, variação total da cor (ΔE) e croma (C*) foram obtidos por sistema de visão computacional, e por colorímetro Konica Minolta CR-400. O frescor da corvina baseada nas mudanças da cor das brânquias foi avaliado utilizando um sistema de visão computacional. Também se modelou a oxidação da mioglobina em files de burriquete (Pogonias cromis), utilizando os parâmetros de vermelho (valor a* e R). Para registrar as mudanças da cor durante 57,6 h utilizou-se um sistema de visão computacional, a análise química realizou-se determinando a concentração de metamioglobina (%). Na avaliação da cor de corvina armazenada em gelo, o sistema de visão computacional mostrou diferenças significativas para L*, a*, ΔE e C*, enquanto que o colorímetro mostrou diferenças significativas para L* e ΔE, o único parâmetro que não apresentou diferenças entre instrumentos foi ΔE durante a avaliação da corvina armazenada em gelo. O coeficiente de correlação entre os parâmetros da cor (L*, a* e b*) das brânquias da corvina armazenada em gelo pelo tempo de armazenamento foi de 0,9747. O sistema de visão computacional registrou as mudanças da cor em filés de burriquete e se modelaram as mudanças utilizando um modelo exponencial. O sistema de visão computacional mostrou ser mais sensível às mudanças da cor durante a avaliação da cor na corvina armazenada em gelo. É possível prognosticar o tempo de armazenamento da corvina em gelo em função da mudança da cor das brânquias. Assim, foi possível modelar a variação da mioglobina em filés de burriquete utilizando sistemas de visão computacional para registrar ditas mudanças. Os sistemas de visão computacional têm grande capacidade para registrar as mudanças da cor e é possível utiliza-los para avaliar os alimentos em função da cor.

Aplicações em radiologia

A fusão de imagem define o processo que permite combinar múltiplas imagens, provenientes da mesma modalidade de imagem médica ou de várias, e do mesmo paciente ou de vários, numa única imagem. Esta imagem deve fornecer uma melhor descrição da anatomia e/ou da função da região ou órgão em estudo sendo, por isso, mais percetível para os seres humanos ou para os sistemas de visão artificial.

A bio-inspired computational model for motion detection

Tese de Doutoramento (Programa Doutoral em Engenharia Biomédica)

Análise discriminante paramétrica para reconhecimento de defeitos em tábuas de eucalipto utilizando imagens digitais

A indústria de madeira tem dispensado especial atenção às etapas de classificação e seleção de madeira serrada. Sistemas de Visão Artificial têm sido propostos para automação dessas etapas na indústria. A identificação de características apropriadas para discriminar os defeitos da madeira em imagens digitais é um dos maiores desafios no desenvolvimento desta tecnologia. O objetivo deste trabalho foi avaliar, por meio de técnicas de análise multivariada, a capacidade de discriminar defeitos em tábuas de eucalipto, utilizando-se as características de percentis de imagens coloridas. Foram realizadas análises discriminantes linear e quadrática para classificação de defeitos e madeira limpa em imagens digitais de tábuas de eucaliptos. As características de percentis do histograma das bandas do vermelho, verde e azul, retiradas de dois tamanhos de blocos de imagens, foram utilizadas para desenvolvimento e teste das funções discriminantes. Foram usados 492 blocos, contendo os 12 defeitos estudados e madeira limpa, retirados das imagens de 40 tábuas amostradas aleatoriamente. As características foram analisadas com seus valores originais, escores dos componentes principais e escores das variáveis canônicas. Os menores erros globais de classificação foram 19 e 24% para funções discriminantes lineares com os escores das variáveis canônicas para tamanho de bloco de 64 x 64 e 32 x 32 pixels, respectivamente. Tendo em vista a magnitude desses erros, as características de percentis foram consideradas adequadas para discriminar defeitos e madeira limpa em imagens digitais.

Localização e leitura automática de caracteres alfanuméricos : uma aplicação na identificação de veículos

Sistemas de visão artificial são cada vez mais usados para auxiliar seres humanos em diferentes tarefas. Estes sistemas são capazes de reconhecer padrões previamente ensinados em uma imagem complexa. A leitura automática é uma das mais atraentes tarefas nesta área [1], sendo que uma máquina com esta capacidade pode reconhecer objetos que possuam caracteres em sua identificação. Na área de trânsito, a identificação de veículos através da leitura de sua placa de licença vem conquistando cada vez mais espaço. No início dos anos cinqüenta, este conceito era usado para estudar o tempo de duração de viagens entre origem e destino. Os primeiros métodos utilizados eram baseados em observadores que anotavam as placas dos veículos e os tempos correspondentes em um papel ou fita gravada. As placas eram manualmente comparadas mais tarde, e os tempos de viagem calculados [2]. O crescente avanço tecnológico tem aumentado substancialmente a precisão e facilidade desta técnica permitindo sua utilização na identificação de veículos infratores e em situação irregular, e no controle de pedágios e estacionamentos pagos Este trabalho envolve o estudo de diversas técnicas de processamento e análise de imagem culminando no desenvolvimento de um sistema capaz de localizar e reconhecer os caracteres contidos numa placa de licença de um veículo. A imagem é previamente analisada por um algoritmo de procura por variações tonais padronizadas de maneira a restringir a área de análise do algoritmo principal do sistema. Este, por sua vez, binariza a imagem através de um algoritmo adaptativo e busca elementos que possuam dimensões próximas às dimensões esperadas dos caracteres da placa. O sistema busca encontrar uma seqüência de caracteres de dimensões aproximadamente iguais e para isso, varia um valor de limiar no processo de binarização conferindo maior robustez ao algoritmo. Uma vez encontrado um grupo de dígitos que satisfaçam alguns critérios prédefinidos, os caracteres são redimensionados e apresentados a duas redes neurais, uma para as letras e outra para os números.

Reconhecimento de caracteres alfanuméricos de placas em imagens de veículos

Sistemas de visão artificial são cada vez mais usados para auxiliar seres humanos a realizar diferentes tarefas. Estes sistemas são capazes de reconhecer padrões em imagens complexas. Técnicas de visão computacional têm encontrado crescente aplicação em estudos e sistemas de controle e monitoração de tráfego de automóveis. Uma das áreas de pesquisa que tem sido objeto de estudo por diferentes grupos é a leitura automática de placas de matrículas como forma de detectar transgressores, encontrar carros roubados ou efetuar estudos de origem/destino [BAR99]. Com o constante crescimento do volume de tráfego de automóvel e a limitada capacidade dos sensores convencionais, especialistas da área recorrem a técnicas de identificação automática de veículos para obter dados relativos ao escoamento de tráfego. A identificação automática de veículos tem tido essencialmente duas abordagens distintas: a utilização de transponders e a utilização de técnicas de visão computacional [INI85] . Estas são essencialmente úteis em casos em que não é viável obrigar os motoristas a instalar transponders em seus automóveis. No entanto, essas técnicas são mais sensíveis às condições atmosféricas e de iluminação tais como nevoeiros, chuva intensa, luz noturna, reflexos em superfícies, etc. Este trabalho apresenta um estudo de diversas técnicas de processamento de imagem objetivando o aperfeiçoamento de um sistema de identificação automática de placas de veículos. Este aperfeiçoamento está relacionado com a diminuição do tempo de execução necessário à localização e reconhecimento dos caracteres contidos nas placas dos veículos bem como a melhorar a taxa de sucesso no seu reconhecimento. A primeira versão do sistema de identificação da placas de veículos descrito em [SOU2000], desenvolvido no CPG-EE da UFRGS, denominado SIAV 1.0, localiza e extrai 91,3% das placas corretamente mas apresenta uma taxa de reconhecimento das placas de 37,3%, assim como um tempo de processamento não satisfatório. Neste trabalho, cujo sistema desenvolvido é denominado SIAV 2.0, a imagem é previamente processada através da aplicação de técnicas de realce da imagem. O principal objetivo das técnicas de realce é processar a imagem de modo que o resultado seja mais apropriado para uma aplicação específica do que a imagem original [GON93]. O sistema busca melhorar a qualidade da imagem eliminando ou suavizando sombras e reflexos presentes na cena em virtude da iluminação não controlada. Visando um menor tempo de execução durante o tratamento e análise da imagem um estudo estatístico baseado na distribuição gaussiana foi realizado de maneira a restringir a área de análise a ser processada. O SIAV possui duas redes neurais como ferramentas de reconhecimento de caracteres. A partir da análise dos diferentes modelos de redes neurais empregados na atualidade, foi desenvolvida uma nova arquitetura de rede a ser utilizada pelo SIAV 2.0 que oferece uma taxa de reconhecimento superior a rede neural usada no SIAV 1.0. Visando um melhor tempo de execução, a implementação em hardware dedicado para este modelo é abordado. Os testes foram realizados com três bancos de imagens obtidas por câmeras diferentes, inclusive por dispositivo "pardal" comercial. Estes testes foram realizados para verificar a efetividade dos algoritmos aperfeiçoados.

Correspondência estéreo usando imagens em multiresolução com profundidade variável

We propose a multi-resolution, coarse-to-fine approach for stereo matching, where the first matching happens at a different depth for each pixel. The proposed technique has the potential of attenuating several problems faced by the constant depth algorithm, making it possible to reduce the number of errors or the number of comparations needed to get equivalent results. Several experiments were performed to demonstrate the method efficiency, including comparison with the traditional plain correlation technique, where the multi-resolution matching with variable depth, proposed here, generated better results with a smaller processing time