Deep learning architecture for gesture recognition

Pós-graduação em Engenharia Mecânica - FEG

Obtención y adaptación de mapas de profundidad en vídeo estereoscópico: influencia en la codificación y el comportamiento visual tridimensional en tiempo real

En esta tesis se recoge el trabajo realizado centrado en el estudio del vídeo estereoscópico y, en particular, la información que aportan los mapas de disparidad y sus posibles aplicaciones. El trabajo se ha dividido en tres bloques diferenciados: En primer lugar se presentan los resultados de un codificador de vídeo multivista basado en mapas de disparidad previamente computados. La finalidad del estudio es comprobar los efectos de la aplicación directa de la disparidad para la compensación entre vistas en cuanto a reducción del tiempo de procesado y calidad de la compresión sobre algoritmos basados en división de bloques, como AVC o HEVC. También se ha trabajado para obtener un flujo de vídeo compatible con MVC que contenga la información de los mapas de disparidad embebida en el flujo en forma de vectores de compensación. Estos mapas se usan como base para obtener la compensación entre bloques de la imagen derecha e izquierda. Para reducir aún más el coste computacional, se ha diseñado un algoritmo de decisión previa del tamaño del bloque de compensación. Aquí se presentan los resultados de ambas estrategias, con decisión previa y sin ella, para evaluar las alternativas. Se presentan los resultados tanto sobre imágenes estereoscópicas estáticas como secuencias de vídeo estereoscópico, cada una de ellas a diferentes valores de compresión de forma que se obtenga una referencia parametrizada del comportamiento del algoritmo. Dichos resultados revelan una reducción drástica del tiempo de procesado con estabilización de la tasa binaria para valores de compresión moderados (compresión de alta calidad), mientras que para compresiones severas, la tasa binaria crece en comparación con el software de referencia JMVC. En segundo lugar se realiza un análisis de calidad relacionado con la información de disparidad de las secuencias estereoscópicas, sus valores absolutos y sus derivadas temporales, de modo que pueda servir tanto para generar sistemas automáticos de evaluación de la calidad, como para sintetizar una lista de buenas prácticas para la creación de contenidos audiovisuales estereoscópicos que ofrezcan una calidad de la experiencia elevada. Para relacionar la calidad de la experiencia y el confort visual generado por una secuencia estereoscópica se ha llevado a cabo una serie de tests de visualización por parte de un grupo de observadores, de secuencias previamente generadas y catalogadas en base a sus variaciones de la disparidad y de movimiento. Las conclusiones extraídas indican que los paralajes negativos son más efectistas y ofrecen una inmersión mayor y, por tanto, mejor calidad de la experiencia, cuando se utilizan de forma moderada. Variaciones rápidas de los valores de disparidad negativa y variaciones de movimiento de objetos con disparidad negativa generan disconfort visual. La probabilidad de que paralajes positivos generen disconfort visual son mucho menores, por lo que resulta interesante en este caso utilizar variaciones rápidas de disparidad y movimiento para compensar la falta de efectismo que producen dichos paralajes. Por último, se ha planteado el diseño de un sistema de inserción coherente de gráficos, en tiempo real, en una escena estereoscópica. Se ha hecho hincapié en la necesidad de la coherencia entre la disparidad de los objetos que conforman una escena y las oclusiones que éstos producen, por lo que la inserción de un elemento no nativo de la escena debe tener en cuenta esta circunstancia para mantener la calidad de la experiencia estereoscópica. Se ha estudiado la influencia de la calidad del mapa de disparidad de la escena como base sobre la que realizar la inserción, así como posibles formas de modificar dicho mapa para que la inserción produzca el efecto deseado de coherencia. En concreto se ha postulado que es preferible sacrificar la precisión punto a punto del mapa de disparidad si, de esa manera, se evita cometer pequeños errores aislados de inserción, a costa de introducir un ajuste menos fino en los bordes de los objetos.

Automatização de sistemas de inspeção COGNEX

Com um mercado automóvel cada vez mais competitivo e com os construtores automóveis à procura de atingir os zero defeitos nos seus produtos, a Bosch Car Multimédia Portugal S.A, fabricante de sistemas multimédia para o mercado automóvel, tem como objetivo a qualidade perfeita dos seus produtos. Tal perfeição exige processos de fabrico cada vez mais evoluídos e com melhores sistemas de auxílio à montagem. Nesse sentido, a incorporação de sistemas de visão artificial para verificação da montagem correta dos componentes em sistemas multimédia tem vindo a crescer largamente. Os sistemas de inspeção visual da Cognex tornaram-se o standard da Bosch para a verifi-cação da montagem de componentes por serem sistemas bastante completos, fáceis de con-figurar e com um suporte técnico bastante completo. Estes sistemas têm vindo a ser inte-grados em diversas máquinas (postos) de montagem e nunca foi desenvolvida uma ferra-menta normalizada para integração destes sistemas com as máquinas. A ideia principal deste projeto passou por desenvolver um sistema (uma aplicação informá-tica) que permita controlar os indicadores de qualidade destes sistemas de visão, garantir o seguimento dos produtos montados e, ao mesmo tempo, efetuar cópias de segurança de todo o sistema para utilização em caso de avaria ou de troca de equipamento. Tal sistema foi desenvolvido recorrendo à programação de uma Dynamic Link Library (DLL), através da linguagem VisualBasic.NET, que permite às aplicações dos equipamen-tos (máquinas) da Bosch Car Multimédia comunicarem de uma forma universal e transpa-rente com os sistemas de inspeção visual da marca Cognex. Os objetivos a que o autor se propôs no desenvolvimento deste sistema foram na sua maioria alcançados e o projeto encontra-se atualmente implementado e em execução nas linhas de produção da Bosch Car Multimédia.

Visual IMML: um perfil UML para a modelagem de interfaces de usuário

The software development processes proposed by the most recent approaches in Software Engineering make use old models. UML was proposed as the standard language for modeling. The user interface is an important part of the software and has a fundamental importance to improve its usability. Unfortunately the standard UML does not offer appropriate resources to model user interfaces. Some proposals have already been proposed to solve this problem: some authors have been using models in the development of interfaces (Model Based Development) and some proposals to extend UML have been elaborated. But none of them considers the theoretical perspective presented by the semiotic engineering, that considers that, through the system, the designer should be able to communicate to the user what he can do, and how to use the system itself. This work presents Visual IMML, an UML Profile that emphasizes the aspects of the semiotic engineering. This Profile is based on IMML, that is a declarative textual language. The Visual IMML is a proposal that aims to improve the specification process by using a visual modeling (using diagrams) language. It proposes a new set of modeling elements (stereotypes) specifically designed to the specification and documentation of user interfaces, considering the aspects of communication, interaction and functionality in an integrated manner

Analysis of quality of experience in 3D video systems

Esta tesis presenta un estudio exhaustivo sobre la evaluación de la calidad de experiencia (QoE, del inglés Quality of Experience) percibida por los usuarios de sistemas de vídeo 3D, analizando el impacto de los efectos introducidos por todos los elementos de la cadena de procesamiento de vídeo 3D. Por lo tanto, se presentan varias pruebas de evaluación subjetiva específicamente diseñadas para evaluar los sistemas considerados, teniendo en cuenta todos los factores perceptuales relacionados con la experiencia visual tridimensional, tales como la percepción de profundidad y la molestia visual. Concretamente, se describe un test subjetivo basado en la evaluación de degradaciones típicas que pueden aparecer en el proceso de creación de contenidos de vídeo 3D, por ejemplo debidas a calibraciones incorrectas de las cámaras o a algoritmos de procesamiento de la señal de vídeo (p. ej., conversión de 2D a 3D). Además, se presenta el proceso de generación de una base de datos de vídeos estereoscópicos de alta calidad, disponible gratuitamente para la comunidad investigadora y que ha sido utilizada ampliamente en diferentes trabajos relacionados con vídeo 3D. Asimismo, se presenta otro estudio subjetivo, realizado entre varios laboratorios, con el que se analiza el impacto de degradaciones causadas por la codificación de vídeo, así como diversos formatos de representación de vídeo 3D. Igualmente, se describen tres pruebas subjetivas centradas en el estudio de posibles efectos causados por la transmisión de vídeo 3D a través de redes de televisión sobre IP (IPTV, del inglés Internet Protocol Television) y de sistemas de streaming adaptativo de vídeo. Para estos casos, se ha propuesto una innovadora metodología de evaluación subjetiva de calidad vídeo, denominada Content-Immersive Evaluation of Transmission Impairments (CIETI), diseñada específicamente para evaluar eventos de transmisión simulando condiciones realistas de visualización de vídeo en ámbitos domésticos, con el fin de obtener conclusiones más representativas sobre la experiencia visual de los usuarios finales. Finalmente, se exponen dos experimentos subjetivos comparando varias tecnologías actuales de televisores 3D disponibles en el mercado de consumo y evaluando factores perceptuales de sistemas Super Multiview Video (SMV), previstos a ser la tecnología futura de televisores 3D de consumo, gracias a una prometedora visualización de contenido 3D sin necesidad de gafas específicas. El trabajo presentado en esta tesis ha permitido entender los factores perceptuales y técnicos relacionados con el procesamiento y visualización de contenidos de vídeo 3D, que pueden ser de utilidad en el desarrollo de nuevas tecnologías y técnicas de evaluación de la QoE, tanto metodologías subjetivas como métricas objetivas. ABSTRACT This thesis presents a comprehensive study of the evaluation of the Quality of Experience (QoE) perceived by the users of 3D video systems, analyzing the impact of effects introduced by all the elements of the 3D video processing chain. Therefore, various subjective assessment tests are presented, particularly designed to evaluate the systems under consideration, and taking into account all the perceptual factors related to the 3D visual experience, such as depth perception and visual discomfort. In particular, a subjective test is presented, based on evaluating typical degradations that may appear during the content creation, for instance due to incorrect camera calibration or video processing algorithms (e.g., 2D to 3D conversion). Moreover, the process of generation of a high-quality dataset of 3D stereoscopic videos is described, which is freely available for the research community, and has been already widely used in different works related with 3D video. In addition, another inter-laboratory subjective study is presented analyzing the impact of coding impairments and representation formats of stereoscopic video. Also, three subjective tests are presented studying the effects of transmission events that take place in Internet Protocol Television (IPTV) networks and adaptive streaming scenarios for 3D video. For these cases, a novel subjective evaluation methodology, called Content-Immersive Evaluation of Transmission Impairments (CIETI), was proposed, which was especially designed to evaluate transmission events simulating realistic home-viewing conditions, to obtain more representative conclusions about the visual experience of the end users. Finally, two subjective experiments are exposed comparing various current 3D displays available in the consumer market, and evaluating perceptual factors of Super Multiview Video (SMV) systems, expected to be the future technology for consumer 3D displays thanks to a promising visualization of 3D content without specific glasses. The work presented in this thesis has allowed to understand perceptual and technical factors related to the processing and visualization of 3D video content, which may be useful in the development of new technologies and approaches for QoE evaluation, both subjective methodologies and objective metrics.

Visual perception for the 3D recognition of geometric pieces in robotic manipulation

During grasping and intelligent robotic manipulation tasks, the camera position relative to the scene changes dramatically because the robot is moving to adapt its path and correctly grasp objects. This is because the camera is mounted at the robot effector. For this reason, in this type of environment, a visual recognition system must be implemented to recognize and “automatically and autonomously” obtain the positions of objects in the scene. Furthermore, in industrial environments, all objects that are manipulated by robots are made of the same material and cannot be differentiated by features such as texture or color. In this work, first, a study and analysis of 3D recognition descriptors has been completed for application in these environments. Second, a visual recognition system designed from specific distributed client-server architecture has been proposed to be applied in the recognition process of industrial objects without these appearance features. Our system has been implemented to overcome problems of recognition when the objects can only be recognized by geometric shape and the simplicity of shapes could create ambiguity. Finally, some real tests are performed and illustrated to verify the satisfactory performance of the proposed system.

La programación neurolingüística como herramienta en la enseñanza de ELE.

Resumen tomado de la publicación. Memoría del máster (Universidad Antonio de Nebrija, 2004)

Iluminação hospitalar : estudo de caso : espaços de internação e recuperação

A iluminação hospitalar, nos espaços de permanência dos pacientes, deve levar em conta os requisitos visuais de seus dois grupos principais de usuários: o staff, com vistas a viabilizar a execução de procedimentos médicos, e os pacientes, que devem ter garantias de boas condições de conforto visual. Os requisitos visuais de ambos usuários incluem diversos critérios quantitativos e qualitativos de iluminação. Além do compromisso de iluminar as tarefas visuais e outras atividades, os sistemas de iluminação também são responsáveis pela criação de impressões ambientais, influenciando as respostas emocionais dos usuários. Isso é particularmente importante nos hospitais, uma vez que os mesmos abrigam pessoas fragilizadas e com alto nível de estresse. Contudo, a prática indica que os projetos de iluminação nestes espaços priorizam os requisitos quantitativos, em detrimento da qualidade visual do ambiente ou das respostas emocionais que estes provocam. Similarmente, tais instalações são sujeitas a restrições econômicas impostas pelo alto custo de construção dos hospitais. Neste contexto, o presente trabalho tem como objetivo estabelecer diretrizes para projetos de iluminação natural e artificial nos espaços de internação e recuperação dos hospitais, enfatizando os critérios qualitativos envolvidos Assim, foram realizados dois estudos de caso: no Hospital Santa Rita, do Complexo Hospitalar da Santa Casa de Misericórdia e no Hospital Moinhos de Vento, ambos em Porto Alegre. Os espaços estudados nos dois hospitais foram os quartos das unidades de internação, as UTI e as salas de recuperação pós-anestésicas dos centros cirúrgicos. A metodologia utilizada para a avaliação dos sistemas de iluminação natural e artificial destes espaços foi baseada em uma análise comparativa entre as medições das condições de iluminação e o nível de satisfação dos usuários. A análise e interpretação dos resultados dos estudos de caso forneceram subsídios para a identificação de padrões nos projetos de iluminação dos hospitais investigados, assim como características individuais. Como decorrência, foi possível elaborar princípios gerais de projeto e diretrizes específicas para a iluminação natural e artificial dos espaços de internação e recuperação, os quais consideram as implicações dos aspectos quantitativos e qualitativos destes sistemas no conforto visual dos usuários.

Development of a sensorimotor algorithm able to deal with unforeseen pushes and its implementation based on VHDL

Development of a Sensorimotor Algorithm Able to Deal with Unforeseen Pushes and Its Implementation Based on VHDL is the title of my thesis which concludes my Bachelor Degree in the Escuela Técnica Superior de Ingeniería y Sistemas de Telecomunicación of the Universidad Politécnica de Madrid. It encloses the overall work I did in the Neurorobotics Research Laboratory from the Beuth Hochschule für Technik Berlin during my ERASMUS year in 2015. This thesis is focused on the field of robotics, specifically an electronic circuit called Cognitive Sensorimotor Loop (CSL) and its control algorithm based on VHDL hardware description language. The reason that makes the CSL special resides in its ability to operate a motor both as a sensor and an actuator. This way, it is possible to achieve a balanced position in any of the robot joints (e.g. the robot manages to stand) without needing any conventional sensor. In other words, the back electromotive force (EMF) induced by the motor coils is measured and the control algorithm responds depending on its magnitude. The CSL circuit contains mainly an analog-to-digital converter (ADC) and a driver. The ADC consists on a delta-sigma modulation which generates a series of bits with a certain percentage of 1's and 0's, proportional to the back EMF. The control algorithm, running in a FPGA, processes the bit frame and outputs a signal for the driver. This driver, which has an H bridge topology, gives the motor the ability to rotate in both directions while it's supplied with the power needed. The objective of this thesis is to document the experiments and overall work done on push ignoring contractive sensorimotor algorithms, meaning sensorimotor algorithms that ignore large magnitude forces (compared to gravity) applied in a short time interval on a pendulum system. This main objective is divided in two sub-objectives: (1) developing a system based on parameterized thresholds and (2) developing a system based on a push bypassing filter. System (1) contains a module that outputs a signal which blocks the main Sensorimotor algorithm when a push is detected. This module has several different parameters as inputs e.g. the back EMF increment to consider a force as a push or the time interval between samples. System (2) consists on a low-pass Infinite Impulse Response digital filter. It cuts any frequency considered faster than a certain push oscillation. This filter required an intensive study on how to implement some functions and data types (fixed or floating point data) not supported by standard VHDL packages. Once this was achieved, the next challenge was to simplify the solution as much as possible, without using non-official user made packages. Both systems behaved with a series of interesting advantages and disadvantages for the elaboration of the document. Stability, reaction time, simplicity or computational load are one of the many factors to be studied in the designed systems. RESUMEN. Development of a Sensorimotor Algorithm Able to Deal with Unforeseen Pushes and Its Implementation Based on VHDL es un Proyecto de Fin de Grado (PFG) que concluye mis estudios en la Escuela Técnica Superior de Ingeniería y Sistemas de Telecomunicación de la Universidad Politécnica de Madrid. En él se documenta el trabajo de investigación que realicé en el Neurorobotics Research Laboratory de la Beuth Hochschule für Technik Berlin durante el año 2015 mediante el programa de intercambio ERASMUS. Este PFG se centra en el campo de la robótica y en concreto en un circuito electrónico llamado Cognitive Sensorimotor Loop (CSL) y su algoritmo de control basado en lenguaje de modelado hardware VHDL. La particularidad del CSL reside en que se consigue que un motor haga las veces tanto de sensor como de actuador. De esta manera es posible que las articulaciones de un robot alcancen una posición de equilibrio (p.ej. el robot se coloca erguido) sin la necesidad de sensores en el sentido estricto de la palabra. Es decir, se mide la propia fuerza electromotriz (FEM) inducida sobre el motor y el algoritmo responde de acuerdo a su magnitud. El circuito CSL se compone de un convertidor analógico-digital (ADC) y un driver. El ADC consiste en un modulador sigma-delta, que genera una serie de bits con un porcentaje de 1's y 0's determinado, en proporción a la magnitud de la FEM inducida. El algoritmo de control, que se ejecuta en una FPGA, procesa esta cadena de bits y genera una señal para el driver. El driver, que posee una topología en puente H, provee al motor de la potencia necesaria y le otorga la capacidad de rotar en cualquiera de las dos direcciones. El objetivo de este PFG es documentar los experimentos y en general el trabajo realizado en algoritmos Sensorimotor que puedan ignorar fuerzas de gran magnitud (en comparación con la gravedad) y aplicadas en una corta ventana de tiempo. En otras palabras, ignorar empujones conservando el comportamiento original frente a la gravedad. Para ello se han desarrollado dos sistemas: uno basado en umbrales parametrizados (1) y otro basado en un filtro de corte ajustable (2). El sistema (1) contiene un módulo que, en el caso de detectar un empujón, genera una señal que bloquea el algoritmo Sensorimotor. Este módulo recibe diferentes parámetros como el incremento necesario de la FEM para que se considere un empujón o la ventana de tiempo para que se considere la existencia de un empujón. El sistema (2) consiste en un filtro digital paso-bajo de respuesta infinita que corta cualquier variación que considere un empujón. Para crear este filtro se requirió un estudio sobre como implementar ciertas funciones y tipos de datos (coma fija o flotante) no soportados por las librerías básicas de VHDL. Tras esto, el objetivo fue simplificar al máximo la solución del problema, sin utilizar paquetes de librerías añadidos. En ambos sistemas aparecen una serie de ventajas e inconvenientes de interés para el documento. La estabilidad, el tiempo de reacción, la simplicidad o la carga computacional son algunas de las muchos factores a estudiar en los sistemas diseñados. Para concluir, también han sido documentadas algunas incorporaciones a los sistemas: una interfaz visual en VGA, un módulo que compensa el offset del ADC o la implementación de una batería de faders MIDI entre otras.

La experiencia y los medios de representación espacial en el área de Educación Plástica y Visual para enseñanzas medias.

Estudiar las formas de representación espacial y análisis de los métodos utilizados por los adolescentes. Estudiantes de 15 a 22 años de distintos niveles educativos. Se aplica un Test de Percepción Visual, se explica su diseño y el motivo de su aplicación. Aquí se encuentran las capacidades de percepción visual de los adolescentes seleccionados que se presentan con normas estadísticas traducidas en resultados relativos como bajo, medio-bajo, medio,medio-alto y alto. Se aplica una Prueba Proyectiva Experimental de Representación Tridimensional en la que previamente se explican los fundamentos y cómo se clasifican los resultados. Se diseñan tablas en las que se muestran los datos de los grupos participantes en estas dos pruebas y otra tabla en la que, de forma cartesiana, se relacionan estas pruebas. Aquí se verifica qué alumnos con porcentaje alto en el Test de Percepción no representan gráficamente el espacio con perspectiva cónica, sino que tienen un concepto de espacio múltiple. Los adolescentes no dibujan con métodos visuales de representación, sino con métodos conceptuales de representación, a pesar de detectar que tienen una buena aptitud de factor espacial. Por tanto, las formas de dibujar que no están basadas en métodos de descripción cónica espacial, quedan valoradas por encima de los medios tradicionales de representación, ya que se encuentran respaldos psicológicos, históricos, estéticos y estadísticos, así como símiles que aportan validez a la hipótesis. Como solución, se elabora un sistema o programa experimental de enseñanza para el desarrollo sobre los sistemas de representación espacial en Enseñanzas Medias.

Composição visual na publicidade: a fronteira entre os sistemas impresso e on-line

Dissertação apresentada ao Programa de Mestrado em Comunicação da Universidade Municipal de São Caetano do Sul - USCS

Desenvolvimento de esquema de controle com realimentação visual para um robô manipulador

This work proposes a kinematic control scheme, using visual feedback for a robot arm with five degrees of freedom. Using computational vision techniques, a method was developed to determine the cartesian 3d position and orientation of the robot arm (pose) using a robot image obtained through a camera. A colored triangular label is disposed on the robot manipulator tool and efficient heuristic rules are used to obtain the vertexes of that label in the image. The tool pose is obtained from those vertexes through numerical methods. A color calibration scheme based in the K-means algorithm was implemented to guarantee the robustness of the vision system in the presence of light variations. The extrinsic camera parameters are computed from the image of four coplanar points whose cartesian 3d coordinates, related to a fixed frame, are known. Two distinct poses of the tool, initial and final, obtained from image, are interpolated to generate a desired trajectory in cartesian space. The error signal in the proposed control scheme consists in the difference between the desired tool pose and the actual tool pose. Gains are applied at the error signal and the signal resulting is mapped in joint incrementals using the pseudoinverse of the manipulator jacobian matrix. These incrementals are applied to the manipulator joints moving the tool to the desired pose

Identificação Visual de Caixas de Medicamentos Usando Features Correspondentes

This work uses computer vision algorithms related to features in the identification of medicine boxes for the visually impaired. The system is for people who have a disease that compromises his vision, hindering the identification of the correct medicine to be ingested. We use the camera, available in several popular devices such as computers, televisions and phones, to identify the box of the correct medicine and audio through the image, showing the poor information about the medication, such: as the dosage, indication and contraindications of the medication. We utilize a model of object detection using algorithms to identify the features in the boxes of drugs and playing the audio at the time of detection of feauteres in those boxes. Experiments carried out with 15 people show that where 93 % think that the system is useful and very helpful in identifying drugs for boxes. So, it is necessary to make use of this technology to help several people with visual impairments to take the right medicine, at the time indicated in advance by the physician

Centros subcorticais dos sistemas visual primário e óptico acessório no mocó (kerodon rupestris): caracterização pela projeção retiniana e citoarquitetura.

The primary and accessory optic systems comprise two set of retinorecipient neural clusters. In this study, these visual related centers in the rock cavy were evaluated by using the retinal innervations pattern and Nissl staining cytoarchigtecture. After unilateral intraocular injection of cholera toxin B subunit and immunohistochemical reaction of coronal and sagittal sections from the diencephalon and midbrain region of rock cavy. Three subcortical centres of primary visual system were identified, superior colliculus, lateral geniculate complex and pretectal complex. The lateral geniculate complex is formed by a series of nuclei receiving direct visual information from the retina, dorsal lateral geniculate nucleus, intergeniculate leaflet and ventral lateral geniculate nucleus. The pretectal complex is formed by series of pretectal nuclei, medial pretectal nucleus, olivary pretectal nucleus, posterior pretectal nucleus, nucleus of the optic tract and anterior pretectal nucleus. In the accessory optic system, retinal terminals were observed in the dorsal terminal, lateral terminal and medial terminal nuclei as well as in the interstitial nucleus of the superior fasciculus, posterior fibres. All retinorecipient nuclei received bilateral input, with a contralateral predominance. This is the first study of this nature in the rock cavy and the results are compared with the data obtained for other species. The investigation represents a contribution to the knowledge regarding the organization of visual optic systems in relation to the biology of species.

O papel dos sistemas visual, vestibular, somatosensorial e auditivo para o controle postural

The maintenance of a given body orientation is obtained by the complex relation between sensory information and muscle activity. Therefore, this study purpose was to review the role of visual, somatosensory, vestibular and auditory information in the maintenance and control of the posture. Method. a search by papers for the last 24 years was done in the PubMed and CAPES databases. The following keywords were used: postural control, sensory information, vestibular system, visual system, somatosensory system, auditory system and haptic system. Results. the influence of each sensory system and its integration were analyzed for the maintenance and control of the posture. Conclusion. the literature showed that there is information redundancy provided by sensory channels. Thus, the central nervous system chooses the main source for the posture control.