Diseño e implementación de un controlador de ratón gestual para Microsoft Windows con Kinect - Touchless Gesture User Interface

El dispositivo Microsoft Kinect for Windows y similares, han introducido en el mundo del PC una nueva forma de interacción denominada “Touchless Gesture User Interface” o TGUI (Interfaz de Usuario por Gestos sin Contacto) [Gentile et al. 2011]. Se trata de una tecnología novedosa en proceso de evolución. La tecnología de Kinect detecta la presencia de un usuario y monitoriza la posición en el espacio de sus articulaciones principales. Esta información permite desarrollar aplicaciones que posibiliten interactuar al usuario con una computadora mediante gestos y sin la necesidad de estar en contacto con periférico alguno. Desde la invención del periférico ratón en los años 60, resulta curioso que con la frenética evolución que ha experimentado el mundo de la informática en todos estos años, este dispositivo no haya sufrido cambios significativos o no haya sido incluso sustituido por otro periférico. En este proyecto se ha abordado el reto de desarrollar un controlador de ratón gestual para Windows utilizando Microsoft Kinect, de tal forma que se sustituya el uso del típico ratón y sea el propio usuario el que actúe como controlador mediante gestos y movimientos de sus manos. El resultado es llamativo y aporta numerosas mejoras y novedades frente a aplicaciones similares, aunque deja en evidencia algunas de las limitaciones de la tecnología implementada por Kinect a día de hoy. Es de esperar que cuando evolucione su tecnología, su uso se convierta en cotidiano.

Evaluación de entornos de desarrollo para la cámara de profundidad DS325 de SoftKinetic para aplicaciones de interfaces hombre-máquina y prototipado de un sistema de reconocimiento gestual basado en redes neuronales

En este Trabajo Fin de Grado se ha realizado primero un informe técnico de la cámara de profundidad de la empresa SoftKinetic DepthSense 325 y de cuatro entornos de desarrollo que tiene como objetivo el uso de dicha cámara para el desarrollo de interfaces hombre-máquina: Perceptual Computing, RealSense, DepthSense e iisu. Posteriormente, tras la evaluación de los entornos de desarrollo y selección del más adecuado para el objetivo, se ha desarrollado un prototipo de un sistema de reconocimiento visual de gestos de manos. La principal contribución a dicho sistema es el uso de redes neuronales para la clasificación de patrones espacio-temporales que representan los gestos a reconocer. Para el entrenamiento de las redes neuronales, se han probado varias configuraciones y los métodos de optimización basados en Gradiente Conjugado y el Gradiente Conjugado Escalado, eficaces para grandes cantidades de información. El sistema propuesto basado en redes neuronales se ha comparado con las populares Máquinas Vectores Soporte, obteniéndose resultados equiparables en términos de reconocimiento de gestos

Controlador MIDI basado en Kinect

Este proyecto tiene como objetivo el desarrollo de una interfaz MIDI, basada en técnicas de procesamiento digital de la imagen, capaz de controlar diversos parámetros de un software de audio mediante información gestual: el movimiento de las manos. La imagen es capturada por una cámara Kinect comercial y los datos obtenidos por ésta son procesados en tiempo real. La finalidad es convertir la posición de varios puntos de control de nuestro cuerpo en información de control musical MIDI. La interfaz ha sido desarrollada en el lenguaje y entorno de programación Processing, el cual está basado en Java, es de libre distribución y de fácil utilización. El software de audio seleccionado es Ableton Live, versión 8.2.2, elegido porque es útil tanto para la composición musical como para la música en directo, y esto último es la principal utilidad que se le pretende dar a la interfaz. El desarrollo del proyecto se divide en dos bloques principales: el primero, diseño gráfico del controlador, y el segundo, la gestión de la información musical. En el primer apartado se justifica el diseño del controlador, formado por botones virtuales: se explica el funcionamiento y, brevemente, la función de cada botón. Este último tema es tratado en profundidad en el Anexo II: Manual de usuario. En el segundo bloque se explica el camino que realiza la información MIDI desde el procesador gestual hasta el sintetizador musical. Este camino empieza en Processing, desde donde se mandan los mensajes que más tarde son interpretados por el secuenciador seleccionado, Ableton Live. Una vez terminada la explicación con detalle del desarrollo del proyecto se exponen las conclusiones del autor acerca del desarrollo del proyecto, donde se encuentran los pros y los contras a tener en cuenta para poder sacar el máximo provecho en el uso del controlador . En este mismo bloque de la memoria se exponen posibles líneas futuras a desarrollar. Se facilita también un presupuesto, desglosado en costes materiales y de personal. ABSTRACT. The aim of this project is the development of a MIDI interface based on image digital processing techniques, able to control several parameters of an audio software using gestural information, the movement of the hands. The image is captured by a commercial Kinect camera and the data obtained by it are processed in real time. The purpose is to convert the position of various points of our body into MIDI musical control information. The interface has been developed in the Processing programming language and environment which is based on Java, freely available and easy to used. The audio software selected is Ableton Live, version 8.2.2, chosen because it is useful for both music composition and live music, and the latter is the interface main intended utility. The project development is divided into two main blocks: the controller graphic design, and the information management. The first section justifies the controller design, consisting of virtual buttons: it is explained the operation and, briefly, the function of each button. This latter topic is covered in detail in Annex II: user manual. In the second section it is explained the way that the MIDI information makes from the gestural processor to the musical synthesizer. It begins in Processing, from where the messages, that are later interpreted by the selected sequencer, Ableton Live, are sent. Once finished the detailed explanation of the project development, the author conclusions are presented, among which are found the pros and cons to take into account in order to take full advantage in the controller use. In this same block are explained the possible future aspects to develop. It is also provided a budget, broken down into material and personal costs.

Innovación tecnológica y reingeniería de los procesos educativos

Este texto es una transcripción aproximada de las principales ideas que el autor desgranó de manera muy informal y distendida en su conferencia durante las III Jornadas Universitarias de Tecnología Educativa, y por tanto carece del rigor metodológico y bibliográfico de cualquier contribución científica. Precisamente,en la conferencia el autor utilizó un estilo impresionista, un tanto provocador, para animar el debate posterior y también unas coloridas transparencias, que son intransferibles al formato de papel de un texto escrito, como tampoco lo son el lenguaje gestual y corporal y la interacción con los participantes

Sistemas radiolarios: geometrías y arquitecturas derivadas

Uno de los temas más importantes dentro del debate contemporáneo, es el que se refiere a la sostenibilidad a largo plazo de la sociedad tal y como la entendemos hoy. El ser humano está recuperando la sensibilidad perdida que le concebía como una pieza más dentro del ciclo natural de la vida. Por fin hemos entendido que no podemos ser auto suficientes e independientes del entorno natural que nos rodea. Más allá del respeto y del cuidado, está abierta la puerta del conocimiento infinito que nos brinda la naturaleza a todos los niveles y a todas las escalas. Dentro de la disciplina arquitectónica han existido ejemplos como Antoni Gaudí o Frei Otto que han referenciado su obra en el mundo Natural, encontrando en él las estrategias y bases para el diseño arquitectónico. Sin embargo han sido una minoría dentro del enorme elenco de arquitectos defensores del ángulo recto. En las últimas décadas, la tendencia está cambiando. No nos referimos tanto a la sensibilidad creciente por conseguir una mayor eficiencia energética que ha llevado a una puesta en valor de la arquitectura vernácula, trasladando su sabiduría a las estrategias bioclimáticas. Nos referimos a un caso específico dentro del amplio abanico de formas arquitectónicas que han aparecido gracias a la incorporación de las herramientas computacionales en el diseño y la producción. Las arquitecturas que nos interesan son las que aprovechan estas técnicas para analizar e interpretar las estrategias complejas y altamente eficientes que encontramos en la naturaleza, y trasladarlas a la disciplina arquitectónica. Esta tendencia que se enmarca dentro de la Biomímesis o Biomimética es conocida con el nombre de Bioarquitectura. La presente tesis trata de morfología y sobre todo de morfogénesis. El término morfología se refiere al estudio de una forma concreta que nos permite entender un caso específico, nuestro foco de atención se centra sin embargo en la morfogénesis, es decir, en el estudio de los procesos de generación de esas formas, para poder reproducir patrones y generar abanicos de casos adaptables y reconfigurables. El hecho de estudiar la forma no quiere decir que ésta sea una tesis “formalista” con la connotación peyorativa y gestual que se le suele atribuir a este término. La investigación concibe el concepto de forma como lo hace el mundo natural: forma como síntesis de eficiencia. No hay ninguna forma natural gratuita, que no cumpla una función determinada y que no se desarrolle con el mínimo material y gaste la mínima energía posible. Este afán por encontrar la “forma eficaz” es lo que nos hace traspasar la frontera de la arquitectura formalista. El camino de investigación morfológica se traza, como el título de la tesis indica, siguiendo el hilo conductor concreto de los radiolarios. Estos microorganismos unicelulares poseen unos esqueletos tan complejos que para poder entender su morfología es necesario establecer un amplio recorrido que abarca más de 4.000 años de conocimiento humano. Desde el descubrimiento de los sólidos platónicos, poliedros que configuran muchas de las formas globales de estos esqueletos; hasta la aplicación de los algoritmos generativos, que permiten entender y reproducir los patrones de comportamiento que existen detrás de los sistemas de compactación y teselación irregular de los esqueletos radiolarios. La tesis no pretende plantear el problema desde un punto de vista biológico, ni paleontológico, aunque inevitablemente en el primer capítulo se realiza un análisis referenciado del estado del conocimiento científico actual. Sí se analizan en mayor profundidad cuestiones morfológicas y se tratan los diferentes posicionamientos desde los cuales estos microorganismos han servido de referencia en la disciplina arquitectónica. Además encontramos necesario analizar otros patrones naturales que comparten estrategias generativas con los esqueletos radiolarios. Como ya hemos apuntado, en el segundo capítulo se aborda un recorrido desde las geometrías más básicas a las más complejas, que tienen relación con las estrategias de generación de las formas detectadas en los microorganismos. A su vez, el análisis de estas geometrías se intercala con ejemplos de aplicaciones dentro de la arquitectura, el diseño y el arte. Finalizando con un cronograma que sintetiza y relaciona las tres vías de investigación abordadas: natural, geométrica y arquitectónica. Tras los dos capítulos centrales, el capítulo final recapitula las estrategias analizadas y aplica el conocimiento adquirido en la tesis, mediante la realización de diferentes prototipos que abarcan desde el dibujo analítico tradicional, a la fabricación digital y el diseño paramétrico, pasando por modelos analógicos de escayola, barras metálicas, resina, silicona, látex, etc. ABSTRACT One of the most important issues in the contemporary debate, is the one concerning the long-term sustainability of society as we understand it today. The human being is recovering the lost sensitivity that conceived us as part of the natural cycle of life. We have finally understood that we cannot be self-sufficient and independent of the natural environment which surrounds us. Beyond respect and care, we’ll find that the gateway to the infinite knowledge that nature provides us at all levels and at all scales is open. Within the architectural discipline, there have been remarkable examples such as Antoni Gaudí or Frei Otto who have inspired their work in the natural world. Both, found in nature the strategies and basis of their architectural designs. However, they have been a minority within the huge cast of architects defenders of the right angle. In recent decades, the trend is changing. We are not referring to the growing sensitivity in trying to achieve energy efficiency that has led to an enhancement of vernacular architecture, transferring its wisdom to bioclimatic strategies. We refer to a specific case within the wide range of architectural forms that have appeared thanks to the integration of computer tools in both design and production processes. We are interested in architectures that exploit these techniques to analyse and interpret the complex and highly efficient strategies found in nature, and shift them to the discipline of architecture. This trend, which is being implemented in the framework of the Biomimicry or biomimetics, is called Bioarchitecture. This thesis deals with morphology and more specifically with morphogenesis. Morphology is the study of a concrete form that allows us to understand a specific case. However, our focus is centered in morphogenesis or, in other words, the study of the processes of generation of these forms, in order to replicate patterns and generate a range of adaptable and reconfigurable cases. The fact of studying shapes does not mean that this is a “formalistic” thesis with the pejorative connotation that is often attributed to this term. This study conceives the concept of shape as Nature does: as a synthesis of efficiency. There is no meaningless form in nature. Furthermore, forms and shapes in nature play a particular role and are developed with minimum energetic consumption. This quest to find the efficient shape is what makes us go beyond formalistic architecture. The road of morphological investigation is traced, as the title of the thesis suggests, following the thread of radiolaria. These single-cell microorganisms possess very complex skeletons, so to be able to understand their morphology we must establish a wide spectrum which spans throughout more than 4.000 years of human knowledge. From the discovery of the platonic solids, polyhedrons which configure a huge range of global shapes of these skeletons, through the application of generative algorithms which allow us to understand and recreate the behavioral patterns behind the systems of compression and irregular tessellation of the radiolarian skeletons. The thesis does not pretend to lay out the problem from a biological, paleontological standpoint, although inevitably the first chapter is developed through an analysis in reference to the current state of the science. A deeper analysis of morphological aspects and different positionings is taken into account where these microorganisms have served as reference in the architectonic discipline. In addition we find necessary to analyse other natural patterns which share generative strategies with radiolarian skeletons. Aforementioned, in the second chapter an itinerary of the most basic geometries to the more complex ones is addressed. These are related, in this chapter, to the generative strategies of the shapes found in microorganisms. At the same time, the analysis of these geometries is placed among examples of applications inside the fields of architecture, design and the arts. To come to an end, a time chart synthesizes and relates the three investigation paths addressed: natural, geometrical and architectonic. After the two central chapters, the final chapter summarises the strategies analysed and applies the knowledge acquired throughout the thesis. This final chapter is shaped by the realization of different prototypes which range from traditional analytical drawings, to digital fabrication and parametric design, going through plaster analogical models, metal bars, resin, silicone, latex, etc.

Juan Navarro Baldeweg : el dibujo de la mano como herramienta en el proceso creativo

Esta investigación es una incursión en el tránsito de Juan Navarro desde sus “habitaciones y horizontes”, las manifestaciones espontáneas de la mano y el proyectar, a la obra que nos devuelve a la experiencia física y corporal del mundo. Juan Navarro debe a sus manos gran parte de sus inquietudes y capacidades. Sus manos están presentes en su obra como materia –piezas de manos-, como herramienta -el dibujo por la mano- y como desencadenante en los procesos creativos de su obra de arquitectura. Las distintas obras remiten a una preocupación común: la de visualizar el espacio a través de un imaginario personal. Sin embargo, el proceso creativo en cada disciplina se desarrolla teniendo en cuenta la especificidad del medio y la experiencia que provoca en el espectador. La obra, como concreción del proceso creativo, se explica por las continuidades y discontinuidades entre las herramientas, mecanismos y estrategias utilizadas en los distintos medios. La tesis se estructura en dos partes, en la primera se estudia cómo se producen los procesos creativos, sus mecanismos en los distintos medios plásticos y el dibujo como herramienta transversal. Se identifican los conceptos y temas que dan lugar a la obra profundizando en el papel de la mano como presencia orgánica, biológica y responsable de una forma de representación personal. La segunda parte se articula en dos capítulos que, a través del dibujo, muestran la arquitectura como modelo e identifican los mecanismos utilizados en su forma de proyectar y su relación con la obra en distintos proyectos. El texto se estructura como una secuencia de ideas articuladas alrededor de un universo gráfico que nos conduce por múltiples itinerarios desde los que atisbar los procesos creativos de Juan Navarro. Estos caminos son hilos con los que se teje una visión personal de la relación entre las herramientas y mecanismos utilizados por Juan Navarro y su obra. La manera cómo se produce el proceso creativo, los mecanismos y las herramientas que los ponen en marcha constituyen una forma de abordar la obra, que hasta la fecha, se ha tratado aisladamente sin una intención de construir un cuerpo estructurado de conocimiento. En la arquitectura Juan Navarro existe un vacío de conocimiento teórico y gráfico sobre el propio proceso y su forma de proyectar. Se ha persistido en la explicación de la obra, sus referencias, temas abordados, relaciones y trasvases sin ahondar en la especificidad del medio. Estos vacíos establecen la necesidad y justificación de esta tesis doctoral. La investigación comienza descifrando una obra que desde sus inicios trabaja con la dualidad de lo gestual y lo conceptual. Plantea una forma de ordenación del mundo, de la sensación sometida a la medida en la que finalmente la obra se recibe como signo que desencadena sentimientos y te devuelve al mundo. Propone la recuperación de los sentidos a través de una arquitectura como vivencia no reductible al espacio geométrico. Identifica los mecanismos y herramientas que se establecen en este proceso y termina concluyendo que el dibujo es la herramienta doblemente transversal porque atiende de forma desigual a las distintas disciplinas y a los dos extremos en que se presenta la actividad creatividad en el trabajo de Juan Navarro. Estos extremos se corresponden con un conocimiento corporal inconsciente y un trabajo constante guiado por la motivación, la predeterminación y la conceptualización. El dibujo por la mano es el espacio de encuentro entre lo que representa la mano y la posibilidad de expresión proyectual codificada. Se produce en un territorio que se extiende desde lo analógico subyacente –que se nutre de imágenes complejas- y el dominio simbólico construido. Abstract. This research is a foray into Juan Navarro’s transition from his "Rooms and Horizons", -spontaneous demonstrations of the hand-, to the project, -the work that brings us back to experiencing the physical world-. Juan Navarro owes his hands much of his capacities and inquisitiveness. His hands are present in his work as the subject –“Hand Pieces”-, as a tool -through hand-drawing - and as a trigger in the creative processes of his work of architecture. The various works refer to a common theme: the viewing space through a personal imagery. However, the creative process in each discipline develops taking into account the specificity of the medium and the experience that arouses in the observer. The work, as completion of the creative process, is explained by the continuities and discontinuities between the tools, mechanisms and strategies used in the different media. The thesis is structured in two parts, the first studies how the creative processes are iniciated, their mechanisms in the different plastic art media, as well as drawing as a transversal tool. In this section the investigation identifies the concepts and themes that give rise to the art work, exploring the role of the hand as the organic, biological presence responsible for a way of personal representation. The second part is divided into two chapters, which, via the drawing, show the architecture as a model and identify the mechanisms used in the his way of projecting form of the project and its the relationship of hand-drawing to with his work ilustrated with different projects. The text is structured as a sequence of ideas, articulated around a graphic universe that leads us by multiple paths, letting us glimpse into the creative processes of Juan Navarro. These paths are threads that weave a personal vision of the relationship between the tools and mechanisms used by Juan Navarro in his work. The way the creative process takes place, the mechanisms and tools that set it in action, constitutes a way of dealing with the work, that, hithergo, has been treated in isolation without an intention to build a structured body of knowledge. In Navarro Baldeweg’s architecture there is a vacuum of theoretical and graphic knowledge of the process itself and his way of projecting. So far, emphasis has been placed mainly on his work’s explanation, its references, the subjects covered, connections and transfers, without delving into the specificity of each medium. These academic gaps justify the need for this doctoral thesis. The investigation begins deciphering a work that, since its very beginning, deals with the duality of the gesture and the concept. It poses a way of managing the world and the sensations which are submitted until it finally detects the work as a sign that triggers feelings and returns the observer to the real world. It proposes the recovery of the senses through an architecture that is sensed as an experience and not merely reduced to geometric space. It identifies the mechanisms and tools that are set out in this process and concludes that drawing is a core tool working in two directions, because it caters unevenly to the various disciplines and to both ends of the creative activity presented in the work of Juan Navarro. These ends correspond with an unconscious physical knowledge and a continuous work guided by motivation, predetermination and conceptualization. Hand-drawing is the meeting space between what the hand represents, and the possibility of an encoded, projectual expression. Thus, hand-drawing takes place in a territory that covers the underlying analogue - which feeds on complex images - to the symbolic built domain.