Proceedings of the Fourth PHANTOM Users Group Workshop

This Report contains the proceedings of the Fourth Phantom Users Group Workshop contains 17 papers presented October 9-12, 1999 at MIT Endicott House in Dedham Massachusetts. The workshop included sessions on, Tools for Programmers, Dynamic Environments, Perception and Cognition, Haptic Connections, Collision Detection / Collision Response, Medical and Seismic Applications, and Haptics Going Mainstream. The proceedings include papers that cover a variety of subjects in computer haptics including rendering, contact determination, development libraries, and applications in medicine, path planning, data interaction and training.

The Proceedings of the First PHANToM User's Group Workshop

These proceedings summarize the results of the First PHANToM User's Group Workshop held September 27-30, 1996 MIT. The goal of the workshop was to bring together a group of active users of the PHANToM Haptic Interface to discuss the scientific and engineering challenges involved in bringing haptics into widespread use, and to explore the future possibilities of this exciting technology. With over 50 attendees and 25 presentations the workshop provided the first large forum for users of a common haptic interface to share results and engage in collaborative discussions. Short papers from the presenters are contained herein and address the following topics: Research Effort Overviews, Displays and Effects, Applications in Teleoperation and Training, Tools for Simulated Worlds and, Data Visualization.

Tactile Sensing for Mechatronics: A State of the Art Survey

Lee M.H. and Nicholls H.R., Tactile Sensing for Mechatronics: A State of the Art Survey, Mechatronics, 9, Jan 1999, pp1-31.

A navigation and object location device for the blind

Gemstone Team Vision

A Kinect Based Indoor Navigation System for the Blind

Team NAVIGATE aims to create a robust, portable navigational aid for the blind. Our prototype uses depth data from the Microsoft Kinect to perform realtime obstacle avoidance in unfamiliar indoor environments. The device augments the white cane by performing two signi cant functions: detecting overhanging objects and identifying stairs. Based on interviews with blind individuals, we found a combined audio and haptic feedback system best for communicating environmental information. Our prototype uses vibration motors to indicate the presence of an obstacle and an auditory command to alert the user to stairs ahead. Through multiple trials with sighted and blind participants, the device was successful in detecting overhanging objects and approaching stairs. The device increased user competency and adaptability across all trials.

Ghost/Machine: cinema in a digital age

Cinema, with its passive cinematic apparatus and linear narrative is often characterised as a contrast to new media narrative strategies, yet from Vertov’s Man with a Movie Camera to Mike Figgis’ TimeCode and Wong Kar Wei’s 2046 cinema provides narrative strategies and spatial conceptualisations which prefigure or are contiguous with new media environments. Both our perception of what cyberspace constitutes and the technology that actualises those perceptions arise out of and are driven by fantasy and desire. This paper will explore the metaphors used to represent and understand new media aesthetics through cinematic representations of new media environments. Two key themes relevant to new media aesthetics emerge. Irigaray, Haraway, and Grosz are used to explore the de-essentialising haptic and penetrative potential of new technologies and their ability to collapse the boundary between the body and the machine. The second fantasy, of new media as a liminal space that expresses the memorialising function of technology and its relation to mourning, is analysed using Benjamin, Burgin and Rutsky. These altered spaces and perceptions of the body and memory of the post-cinematic subject are illustrated through an analysis of Gondry’s Eternal Sunshine of the Spotless Mind and Jonze’s Being John Malkovich. [From the Author]

A Novel Multimodal Interface for Improving Visually Impaired People's Web Accessibility

This paper introduces a novel interface designed to help blind and visually impaired people to explore and navigate on the Web. In contrast to traditionally used assistive tools, such as screen readers and magnifiers, the new interface employs a combination of both audio and haptic features to provide spatial and navigational information to users. The haptic features are presented via a low-cost force feedback mouse allowing blind people to interact with the Web, in a similar fashion to their sighted counterparts. The audio provides navigational and textual information through the use of non-speech sounds and synthesised speech. Interacting with the multimodal interface offers a novel experience to target users, especially to those with total blindness. A series of experiments have been conducted to ascertain the usability of the interface and compare its performance to that of a traditional screen reader. Results have shown the advantages that the new multimodal interface offers blind and visually impaired people. This includes the enhanced perception of the spatial layout of Web pages, and navigation towards elements on a page. Certain issues regarding the design of the haptic and audio features raised in the evaluation are discussed and presented in terms of recommendations for future work.

The Body Skinned Rethinking performative presence

In this paper I examine the transformation that the skin has undergone over the centuries. This change in conception in the skin whereby the skin is considered less a boundary space and more akin to a milieu, a meeting place for the other senses, allows me to posit the performative body as one engaged in a haptic condition, as a body in intimately lived-in spaces with tactile relations. A shift from the optical towards the haptic, in which the all- encompassing god-like view of traditional performance environments becomes replaced by a more haptic condition, as can be exemplified in performances in dispersed environments, posits the body skinned as a fragile body that wants to favour the incomplete and the fragmented. The body skinned is a body initiated by the observed and the perspectival, but it is nourished by means of the local and the embodied. It is a body that, like the skin, is more akin to a meeting place of, and for, the other senses, as well as for senses of the others. Most clearly, the body skinned brings to the fore a potential of being ‘connected a little less’. It is a body that embraces notions of the incomplete, of glances, and of fantasies, and in this light may be a body more ideally suited to environments that purposely displace performative action, such as found in network performance environments.

Research intensity and knowledge transfer activity in UK universities

As the innovation process has become more open and networked, Government policy in the UK has sought to promote both research excellence in the university sector and the translation of this into economic benefit through university–business engagement. However, this policy approach has tended to be applied uniformly with little account for organisational differences within the sector. In this paper we consider if differences between universities in their research performance is reflected in their knowledge transfer activity. Specifically, as universities develop a commercialization agenda are the strategic priorities for knowledge transfer, the organisational supports in place to facilitate knowledge transfer and the scale and scope of knowledge transfer activity different for high research intensive (HRI) and low research intensive (LRI) universities? The findings demonstrate that universities’ approach to knowledge transfer is shaped by institutional and organisational resources, in particular their ethos and research quality, rather than the capability to undertake knowledge transfer through a Technology Transfer Office (TTO). Strategic priorities for knowledge transfer are reflected in activity, in terms of the dominance of specific knowledge transfer channels, the partners with which universities engage and the geography of business engagement.

Combining multisensory temporal information for movement synchronisation

The ability to synchronise actions with environmental events is a fundamental skill supporting a variety of group activities. In such situations, multiple sensory cues are usually available for synchronisation, yet previous studies have suggested that auditory cues dominate those from other modalities. We examine the control of rhythmic action on the basis of auditory and haptic cues and show that performance is sensitive to both sources of information for synchronisation. Participants were required to tap the dominant hand index finger in synchrony with a metronome defined by periodic auditory tones, imposed movements of the non-dominant index finger, or both cues together. Synchronisation was least variable with the bimodal metronome as predicted by a maximum likelihood estimation (MLE) model. However, increases in timing variability of the auditory cue resulted in some departures from the MLE model. Our findings indicate the need for further investigation of the MLE account of the integration of multisensory signals in the temporal control of action.

Simulation using novel equipment designed to explain spirometric abnormalities in respiratory disease enhances learning in higher cognitive domains

Simulation of disorders of respiratory mechanics shown by spirometry provides insight into the pathophysiology of disease but some clinically important disorders have not been simulated and none have been formally evaluated for education. We have designed simple mechanical devices which, along with existing simulators, enable all the main dysfunctions which have diagnostic value in spirometry to be simulated and clearly explained with visual and haptic feedback. We modelled the airways as Starling resistors by a clearly visible mechanical action to simulate intra- and extra-thoracic obstruction. A narrow tube was used to simulate fixed large airway obstruction and inelastic bands to simulate restriction. We hypothesized that using simulators whose action explains disease promotes learning especially in higher domain educational objectives. The main features of obstruction and restriction were correctly simulated. Simulation of variable extra-thoracic obstruction caused blunting and plateauing of inspiratory flow, and simulation of intra-thoracic obstruction caused limitation of expiratory flow with marked dynamic compression. Multiple choice tests were created with questions allocated to lower (remember and understand) or higher cognitive domains (apply, analyse and evaluate). In a cross-over design, overall mean scores increased after 1½ h simulation spirometry (43-68 %, effect size 1.06, P < 0.0001). In higher cognitive domains the mean score was lower before and increased further than lower domains (Δ 30 vs 20 %, higher vs lower effect size 0.22, P < 0.05). In conclusion, the devices successfully simulate various patterns of obstruction and restriction. Using these devices medical students achieved marked enhancement of learning especially in higher cognitive domains.

Représentation interne des caractéristiques physiques d'un objet

Dans les situations du quotidien, nous manipulons fréquemment des objets sans les regarder. Pour effectuer des mouvements vers une cible précise avec un objet à la main, il est nécessaire de percevoir les propriétés spatiales de l’objet. Plusieurs études ont démontré que les sujets peuvent discriminer entre des longueurs d'objet différentes sans l’aide des informations visuelles et peuvent adapter leurs mouvements aux nouvelles caractéristiques inertielles produites lors de la manipulation d’un objet. Dans cette étude, nous avons conduit deux expérimentations afin d’évaluer la capacité des sujets à adapter leurs mouvements d’atteinte à la longueur et à la forme perçues des objets manipulés sur la base unique des sensations non visuelles (sensations haptiques). Dans l'expérience 1, dix sujets devaient exécuter des mouvements d’atteintes vers 4 cibles tridimensionnelles (3D) avec un objet à la main. Trois objets de longueur différente ont été utilisés (pointeurs: 12.5, 17.5, 22.5 cm). Aucune connaissance de la position de la main et de l’objet par rapport à la cible n’était disponible pendant et après les mouvements vers les cibles 3D. Ainsi, lorsque comparé avec les erreurs spatiales commises lors des atteintes manuelles sans pointeur, l’erreur spatiale de chacun des mouvements avec pointeur reflète la précision de l’estimation de la longueur des pointeurs. Nos résultats indiquent que les sujets ont augmenté leurs erreurs spatiales lors des mouvements d’atteinte avec un objet en comparaison avec la condition sans pointeur. Cependant, de façon intéressante, ils ont maintenu le même niveau de précision à travers les trois conditions avec des objets de différentes longueurs malgré une différence de 10 cm entre l’objet le plus court et le plus long. Dans l'expérience 2, neuf sujets différents ont effectué des mouvements d’atteinte vers les mêmes cibles utilisant cette fois-ci deux objets en forme de L (objet no.1 : longueur de 17,5 cm et déviation à droite de 12,5 cm – objet no.2 : longueur de 17,5 cm et déviation à droite de 17,5 cm). Comme c’était le cas lors de l'expérience 1, les sujets ont augmenté leurs erreurs spatiales lors des mouvements d’atteinte avec les objets et cette augmentation était similaire entre les deux conditions avec les objets en forme de L. Une observation frappante de l’expérience 2 est que les erreurs de direction n’ont pas augmenté de façon significative entre les conditions avec objet en forme de L et la condition contrôle sans objet. Ceci démontre que les participants ont perçu de façon précise la déviation latérale des objets sans jamais avoir eu de connaissances visuelles de la configuration des objets. Les résultats suggèrent que l’adaptation à la longueur et à la forme des objets des mouvements d’atteinte est principalement basée sur l’intégration des sensations haptiques. À notre connaissance, cette étude est la première à fournir des données quantitatives sur la précision avec laquelle le système haptique peut permettre la perception de la longueur et de la forme d’un objet tenu dans la main afin d’effectuer un mouvement précis en direction d’une cible.

Les habiletés spatio-cognitives des aveugles de naissance : résolution de labyrinthes tactiles

La navigation repose en majeure partie sur la vision puisque ce sens nous permet de rassembler des informations spatiales de façon simultanée et de mettre à jour notre position par rapport à notre environnement. Pour plusieurs aveugles qui se fient à l’audition, le toucher, la proprioception, l’odorat et l’écholocation pour naviguer, sortir à l’extérieur de chez soi peut représenter un défi considérable. Les recherches sur le circuit neuronal de la navigation chez cette population en particulier s’avèrent donc primordiales pour mieux adapter les ressources aux handicapés visuels et réussir à les sortir de leur isolement. Les aveugles de naissance constituent aussi une population d’intérêt pour l’étude de la neuroplasticité. Comme leur cerveau s’est construit en absence d’intrant visuel, la plupart des structures reliées au sens de la vue sont réduites en volume par rapport à ceux de sujets voyants. De plus, leur cortex occipital, une région normalement dédiée à la vision, possède une activité supramétabolique au repos, ce qui peut représenter un territoire vierge pouvant être recruté par les autres modalités pour exécuter diverses tâches sensorielles. Plusieurs chercheurs ont déjà démontré l’implication de cette région dans des tâches sensorielles comme la discrimination tactile et la localisation auditive. D’autres changements plastiques de nature intramodale ont aussi été observés dans le circuit neuronal de la navigation chez ces aveugles. Par exemple, la partie postérieure de l’hippocampe, impliquée dans l’utilisation de cartes mentales, est réduite en volume alors que la section antérieure est élargie chez ces sujets. Bien que ces changements plastiques anatomiques aient bel et bien été observés chez les aveugles de naissance, il reste toutefois à les relier avec leur aspect fonctionnel. Le but de la présente étude était d’investiguer les corrélats neuronaux de la navigation chez l’aveugle de naissance tout en les reliant avec leurs habiletés spatio-cognitives. La première étude comportementale a permis d’identifier chez les aveugles congénitaux une difficulté d’apprentissage de routes tactiles construites dans des labyrinthes de petite échelle. La seconde étude, employant la technique d’imagerie par résonance magnétique fonctionnelle, a relié ces faiblesses au recrutement de régions cérébrales impliquées dans le traitement d’une perspective égocentrique, comme le lobule pariétal supérieur droit. Alors que des sujets voyants aux yeux bandés excellaient dans la tâche des labyrinthes, ces derniers recrutaient des structures impliquées dans un traitement allocentrique, comme l’hippocampe et le parahippocampe. Par ailleurs, la deuxième étude a confirmé le recrutement du cortex occipital dans une tâche de navigation chez les aveugles seulement. Ceci confirme l’implication de la plasticité intermodale dans des tâches cognitives de plus haut niveau, comme la navigation.

Encodage des forces tactiles dans le cortex somatosensoriel primaire

Les deux fonctions principales de la main sont la manipulation d’objet et l’exploration tactile. La détection du glissement, rapportée par les mécanorécepteurs de la peau glabre, est essentielle pour l’exécution de ces deux fonctions. Durant la manipulation d’objet, la détection rapide du micro-glissement (incipient slip) amène la main à augmenter la force de pince pour éviter que l’objet ne tombe. À l’opposé, le glissement est un aspect essentiel à l’exploration tactile puisqu’il favorise une plus grande acuité tactile. Pour ces deux actions, les forces normale et tangentielle exercées sur la peau permettent de décrire le glissement mais également ce qui arrive juste avant qu’il y ait glissement. Toutefois, on ignore comment ces forces contrôlées par le sujet pourraient être encodées au niveau cortical. C’est pourquoi nous avons enregistré l’activité unitaire des neurones du cortex somatosensoriel primaire (S1) durant l’exécution de deux tâches haptiques chez les primates. Dans la première tâche, deux singes devaient saisir une pastille de métal fixe et y exercer des forces de cisaillement sans glissement dans une de quatre directions orthogonales. Des 144 neurones enregistrés, 111 (77%) étaient modulés à la direction de la force de cisaillement. L’ensemble de ces vecteurs préférés s’étendait dans toutes les directions avec un arc variant de 50° à 170°. Plus de 21 de ces neurones (19%) étaient également modulés à l’intensité de la force de cisaillement. Bien que 66 neurones (59%) montraient clairement une réponse à adaptation lente et 45 autres (41%) une réponse à adaptation rapide, cette classification ne semblait pas expliquer la modulation à l’intensité et à la direction de la force de cisaillement. Ces résultats montrent que les neurones de S1 encodent simultanément la direction et l’intensité des forces même en l’absence de glissement. Dans la seconde tâche, deux singes ont parcouru différentes surfaces avec le bout des doigts à la recherche d’une cible tactile, sans feedback visuel. Durant l’exploration, les singes, comme les humains, contrôlaient les forces et la vitesse de leurs doigts dans une plage de valeurs réduite. Les surfaces à haut coefficient de friction offraient une plus grande résistance tangentielle à la peau et amenaient les singes à alléger la force de contact, normale à la peau. Par conséquent, la somme scalaire des composantes normale et tangentielle demeurait constante entre les surfaces. Ces observations démontrent que les singes contrôlent les forces normale et tangentielle qu’ils appliquent durant l’exploration tactile. Celles-ci sont également ajustées selon les propriétés de surfaces telles que la texture et la friction. Des 230 neurones enregistrés durant la tâche d’exploration tactile, 96 (42%) ont montré une fréquence de décharge instantanée reliée aux forces exercées par les doigts sur la surface. De ces neurones, 52 (54%) étaient modulés avec la force normale ou la force tangentielle bien que l’autre composante orthogonale avait peu ou pas d’influence sur la fréquence de décharge. Une autre sous-population de 44 (46%) neurones répondait au ratio entre la force normale et la force tangentielle indépendamment de l’intensité. Plus précisément, 29 (30%) neurones augmentaient et 15 (16%) autres diminuaient leur fréquence de décharge en relation avec ce ratio. Par ailleurs, environ la moitié de tous les neurones (112) étaient significativement modulés à la direction de la force tangentielle. De ces neurones, 59 (53%) répondaient à la fois à la direction et à l’intensité des forces. L’exploration de trois ou quatre différentes surfaces a permis d’évaluer l’impact du coefficient de friction sur la modulation de 102 neurones de S1. En fait, 17 (17%) neurones ont montré une augmentation de leur fréquence de décharge avec l’augmentation du coefficient de friction alors que 8 (8%) autres ont montré le comportement inverse. Par contre, 37 (36%) neurones présentaient une décharge maximale sur une surface en particulier, sans relation linéaire avec le coefficient de friction des surfaces. La classification d’adaptation rapide ou lente des neurones de S1 n’a pu être mise en relation avec la modulation aux forces et à la friction. Ces résultats montrent que la fréquence de décharge des neurones de S1 encode l’intensité des forces normale et tangentielle, le ratio entre les deux composantes et la direction du mouvement. Ces résultats montrent que le comportement d’une importante sous-population des neurones de S1 est déterminé par les forces normale et tangentielle sur la peau. La modulation aux forces présentée ici fait le pont entre les travaux évaluant les propriétés de surfaces telles que la rugosité et les études touchant à la manipulation d’objets. Ce système de référence s’applique en présence ou en absence de glissement entre la peau et la surface. Nos résultats quant à la modulation des neurones à adaptation rapide ou lente nous amènent à suggérer que cette classification découle de la manière que la peau est stimulée. Nous discuterons aussi de la possibilité que l’activité des neurones de S1 puisse inclure une composante motrice durant ces tâches sensorimotrices. Finalement, un nouveau cadre de référence tridimensionnel sera proposé pour décrire et rassembler, dans un même continuum, les différentes modulations aux forces normale et tangentielle observées dans S1 durant l’exploration tactile.