Monitoring Complex Processes to Verify System Conformance: A Declarative Rule-Based Framework

Over the last 60 years, computers and software have favoured incredible advancements in every field. Nowadays, however, these systems are so complicated that it is difficult – if not challenging – to understand whether they meet some requirement or are able to show some desired behaviour or property. This dissertation introduces a Just-In-Time (JIT) a posteriori approach to perform the conformance check to identify any deviation from the desired behaviour as soon as possible, and possibly apply some corrections. The declarative framework that implements our approach – entirely developed on the promising open source forward-chaining Production Rule System (PRS) named Drools – consists of three components: 1. a monitoring module based on a novel, efficient implementation of Event Calculus (EC), 2. a general purpose hybrid reasoning module (the first of its genre) merging temporal, semantic, fuzzy and rule-based reasoning, 3. a logic formalism based on the concept of expectations introducing Event-Condition-Expectation rules (ECE-rules) to assess the global conformance of a system. The framework is also accompanied by an optional module that provides Probabilistic Inductive Logic Programming (PILP). By shifting the conformance check from after execution to just in time, this approach combines the advantages of many a posteriori and a priori methods proposed in literature. Quite remarkably, if the corrective actions are explicitly given, the reactive nature of this methodology allows to reconcile any deviations from the desired behaviour as soon as it is detected. In conclusion, the proposed methodology brings some advancements to solve the problem of the conformance checking, helping to fill the gap between humans and the increasingly complex technology.

Lernen mit einer Hybride aus Lernendem Klassifizierendem System und Selbstorganisierender Karte

Im Forschungsgebiet der Künstlichen Intelligenz, insbesondere im Bereich des maschinellen Lernens, hat sich eine ganze Reihe von Verfahren etabliert, die von biologischen Vorbildern inspiriert sind. Die prominentesten Vertreter derartiger Verfahren sind zum einen Evolutionäre Algorithmen, zum anderen Künstliche Neuronale Netze. Die vorliegende Arbeit befasst sich mit der Entwicklung eines Systems zum maschinellen Lernen, das Charakteristika beider Paradigmen in sich vereint: Das Hybride Lernende Klassifizierende System (HCS) wird basierend auf dem reellwertig kodierten eXtended Learning Classifier System (XCS), das als Lernmechanismus einen Genetischen Algorithmus enthält, und dem Wachsenden Neuralen Gas (GNG) entwickelt. Wie das XCS evolviert auch das HCS mit Hilfe eines Genetischen Algorithmus eine Population von Klassifizierern - das sind Regeln der Form [WENN Bedingung DANN Aktion], wobei die Bedingung angibt, in welchem Bereich des Zustandsraumes eines Lernproblems ein Klassifizierer anwendbar ist. Beim XCS spezifiziert die Bedingung in der Regel einen achsenparallelen Hyperquader, was oftmals keine angemessene Unterteilung des Zustandsraumes erlaubt. Beim HCS hingegen werden die Bedingungen der Klassifizierer durch Gewichtsvektoren beschrieben, wie die Neuronen des GNG sie besitzen. Jeder Klassifizierer ist anwendbar in seiner Zelle der durch die Population des HCS induzierten Voronoizerlegung des Zustandsraumes, dieser kann also flexibler unterteilt werden als beim XCS. Die Verwendung von Gewichtsvektoren ermöglicht ferner, einen vom Neuronenadaptationsverfahren des GNG abgeleiteten Mechanismus als zweites Lernverfahren neben dem Genetischen Algorithmus einzusetzen. Während das Lernen beim XCS rein evolutionär erfolgt, also nur durch Erzeugen neuer Klassifizierer, ermöglicht dies dem HCS, bereits vorhandene Klassifizierer anzupassen und zu verbessern. Zur Evaluation des HCS werden mit diesem verschiedene Lern-Experimente durchgeführt. Die Leistungsfähigkeit des Ansatzes wird in einer Reihe von Lernproblemen aus den Bereichen der Klassifikation, der Funktionsapproximation und des Lernens von Aktionen in einer interaktiven Lernumgebung unter Beweis gestellt.

Brain-Computer Interfaces for augmented communication: Asynchronous and adaptive algorithms and evaluation with end users

This thesis aimed at addressing some of the issues that, at the state of the art, avoid the P300-based brain computer interface (BCI) systems to move from research laboratories to end users’ home. An innovative asynchronous classifier has been defined and validated. It relies on the introduction of a set of thresholds in the classifier, and such thresholds have been assessed considering the distributions of score values relating to target, non-target stimuli and epochs of voluntary no-control. With the asynchronous classifier, a P300-based BCI system can adapt its speed to the current state of the user and can automatically suspend the control when the user diverts his attention from the stimulation interface. Since EEG signals are non-stationary and show inherent variability, in order to make long-term use of BCI possible, it is important to track changes in ongoing EEG activity and to adapt BCI model parameters accordingly. To this aim, the asynchronous classifier has been subsequently improved by introducing a self-calibration algorithm for the continuous and unsupervised recalibration of the subjective control parameters. Finally an index for the online monitoring of the EEG quality has been defined and validated in order to detect potential problems and system failures. This thesis ends with the description of a translational work involving end users (people with amyotrophic lateral sclerosis-ALS). Focusing on the concepts of the user centered design approach, the phases relating to the design, the development and the validation of an innovative assistive device have been described. The proposed assistive technology (AT) has been specifically designed to meet the needs of people with ALS during the different phases of the disease (i.e. the degree of motor abilities impairment). Indeed, the AT can be accessed with several input devices either conventional (mouse, touchscreen) or alterative (switches, headtracker) up to a P300-based BCI.

Optimising thin-film solar cells by computer simulations

CIGS-Dünnschichtsolarzellen verbinden hohe Effizienz mit niedrigen Kosten und sind damit eine aussichtsreiche Photovoltaik-Technologie. Das Verständnis des Absorbermaterials CIGS ist allerdings noch lückenhaft und benötigt weitere Forschung. In dieser Dissertation werden Computersimulationen vorgestellt, die erheblich zum besseren Verständnis von CIGS beitragen. Es wurden die beiden Systeme Cu(In,Ga)Se2 und (Cu,In,Vac)Se betrachtet. Die Gesamtenergie der Systeme wurde in Clusterentwicklungen ausgedrückt, die auf der Basis von ab initio Dichtefunktionalrechnungen erstellt wurden. Damit war es möglich Monte Carlo (MC)-Simulationen durchzuführen. Kanonische MC-Simulationen von Cu(In,Ga)Se2 zeigen das temperaturabhängige Verhalten der In-Ga-Verteilung. In der Nähe der Raumtemperatur findet ein Übergang von einer geordneten zu einer ungeordneten Phase statt. Unterhalb separiert das System in CuInSe2 und CuGaSe2. Oberhalb existiert eine gemischte Phase mit inhomogen verteilten In- und Ga-Clustern. Mit steigender Temperatur verkleinern sich die Cluster und die Homogenität nimmt zu. Bei allen Temperaturen, bis hin zur Produktionstemperatur der Solarzellen (¼ 870 K), ist In-reiches CIGS homogener als Ga-reiches CIGS. Das (Cu,In,Vac)Se-System wurde mit kanonischen und großkanonischen MC-Simulationen untersucht. Hier findet sich für das CuIn5Se8-Teilsystem ein Übergang von einer geordneten zu einer ungeordneten Phase bei T0 = 279 K. Großkanonische Simulationen mit vorgegebenen Werten für die chemischen Potentiale von Cu und In wurden verwendet, um die Konzentrations- Landschaft und damit die sich ergebenden Stöchiometrien zu bestimmen. Stabilitätsbereiche wurden für stöchiometrisches CuInSe2 und für die Defektphasen CuIn5Se8 und CuIn3Se5 bei einer Temperatur von 174 K identifiziert. Die Bereiche für die Defektphasen sind bei T = 696 K verschwunden. Die Konzentrations-Landschaft reproduziert auch die leicht Cu-armen Stöchiometrien, die bei Solarzellen mit guten Effizienzen experimentell beobachtet werden. Die Simulationsergebnisse können verwendet werden, um den industriellen CIGS-Produktionspr

Mental states monitoring through passive Brain-Computer Interface systems

The monitoring of cognitive functions aims at gaining information about the current cognitive state of the user by decoding brain signals. In recent years, this approach allowed to acquire valuable information about the cognitive aspects regarding the interaction of humans with external world. From this consideration, researchers started to consider passive application of brain–computer interface (BCI) in order to provide a novel input modality for technical systems solely based on brain activity. The objective of this thesis is to demonstrate how the passive Brain Computer Interfaces (BCIs) applications can be used to assess the mental states of the users, in order to improve the human machine interaction. Two main studies has been proposed. The first one allows to investigate whatever the Event Related Potentials (ERPs) morphological variations can be used to predict the users’ mental states (e.g. attentional resources, mental workload) during different reactive BCI tasks (e.g. P300-based BCIs), and if these information can predict the subjects’ performance in performing the tasks. In the second study, a passive BCI system able to online estimate the mental workload of the user by relying on the combination of the EEG and the ECG biosignals has been proposed. The latter study has been performed by simulating an operative scenario, in which the occurrence of errors or lack of performance could have significant consequences. The results showed that the proposed system is able to estimate online the mental workload of the subjects discriminating three different difficulty level of the tasks ensuring a high reliability.

Computer simulations of colloidal fluids in confinement

Computer-Simulationen von Kolloidalen Fluiden in Beschränkten Geometrien Kolloidale Suspensionen, die einen Phasenübergang aufweisen, zeigen eine Vielfalt an interessanten Effekten, sobald sie auf eine bestimmte Geometrie beschränkt werden, wie zum Beispiel auf zylindrische Poren, sphärische Hohlräume oder auf einen Spalt mit ebenen Wänden. Der Einfluss dieser verschiedenen Geometrietypen sowohl auf das Phasenverhalten als auch auf die Dynamik von Kolloid-Polymer-Mischungen wird mit Hilfe von Computer-Simulationen unter Verwendung des Asakura-Oosawa- Modells, für welches auf Grund der “Depletion”-Kräfte ein Phasenübergang existiert, untersucht. Im Fall von zylindrischen Poren sieht man ein interessantes Phasenverhalten, welches vom eindimensionalen Charakter des Systems hervorgerufen wird. In einer kurzen Pore findet man im Bereich des Phasendiagramms, in dem das System typischerweise entmischt, entweder eine polymerreiche oder eine kolloidreiche Phase vor. Sobald aber die Länge der zylindrischen Pore die typische Korrelationslänge entlang der Zylinderachse überschreitet, bilden sich mehrere quasi-eindimensionale Bereiche der polymerreichen und der kolloidreichen Phase, welche von nun an koexistieren. Diese Untersuchungen helfen das Verhalten von Adsorptionshysteresekurven in entsprechenden Experimenten zu erklären. Wenn das Kolloid-Polymer-Modellsystem auf einen sphärischen Hohlraum eingeschränkt wird, verschiebt sich der Punkt des Phasenübergangs von der polymerreichen zur kolloidreichen Phase. Es wird gezeigt, dass diese Verschiebung direkt von den Benetzungseigenschaften des Systems abhängt, was die Beobachtung von zwei verschiedenen Morphologien bei Phasenkoexistenz ermöglicht – Schalenstrukturen und Strukturen des Janustyps. Im Rahmen der Untersuchung von heterogener Keimbildung von Kristallen innerhalb einer Flüssigkeit wird eine neue Simulationsmethode zur Berechnung von Freien Energien der Grenzfläche zwischen Kristall- bzw. Flüssigkeitsphase undWand präsentiert. Die Resultate für ein System von harten Kugeln und ein System einer Kolloid- Polymer-Mischung werden anschließend zur Bestimmung von Kontaktwinkeln von Kristallkeimen an Wänden verwendet. Die Dynamik der Phasenseparation eines quasi-zweidimensionalen Systems, welche sich nach einem Quench des Systems aus dem homogenen Zustand in den entmischten Zustand ausbildet, wird mit Hilfe von einer mesoskaligen Simulationsmethode (“Multi Particle Collision Dynamics”) untersucht, die sich für eine detaillierte Untersuchung des Einflusses der hydrodynamischen Wechselwirkung eignet. Die Exponenten universeller Potenzgesetze, die das Wachstum der mittleren Domänengröße beschreiben, welche für rein zwei- bzw. dreidimensionale Systeme bekannt sind, können für bestimmte Parameterbereiche nachgewiesen werden. Die unterschiedliche Dynamik senkrecht bzw. parallel zu den Wänden sowie der Einfluss der Randbedingungen für das Lösungsmittel werden untersucht. Es wird gezeigt, dass die daraus resultierende Abschirmung der hydrodynamischen Wechselwirkungsreichweite starke Auswirkungen auf das Wachstum der mittleren Domänengröße hat.

Computer simulations of slowly relaxing systems in external fields

Eine der offenen Fragen der aktuellen Physik ist das Verständnis von Systemen im Nichtgleichgewicht. Im Gegensatz zu der Gleichgewichtsphysik ist in diesem Bereich aktuell kein Formalismus bekannt der ein systematisches Beschreiben der unterschiedlichen Systeme ermöglicht. Um das Verständnis über diese Systeme zu vergrößern werden in dieser Arbeit zwei unterschiedliche Systeme studiert, die unter einem externen Feld ein starkes nichtlineares Verhalten zeigen. Hierbei handelt es sich zum einen um das Verhalten von Teilchen unter dem Einfluss einer extern angelegten Kraft und zum anderen um das Verhalten eines Systems in der Nähe des kritischen Punktes unter Scherung. Das Modellsystem in dem ersten Teil der Arbeit ist eine binäre Yukawa Mischung, die bei tiefen Temperaturen einen Glassübergang zeigt. Dies führt zu einer stark ansteigenden Relaxationszeit des Systems, so dass man auch bei kleinen Kräften relativ schnell ein nichtlineares Verhalten beobachtet. In Abhängigkeit der angelegten konstanten Kraft können in dieser Arbeit drei Regime, mit stark unterschiedlichem Teilchenverhalten, identifiziert werden. In dem zweiten Teil der Arbeit wird das Ising-Modell unter Scherung betrachtet. In der Nähe des kritischen Punkts kommt es in diesem Modell zu einer Beeinflussung der Fluktuationen in dem System durch das angelegte Scherfeld. Dies hat zur Folge, dass das System stark anisotrop wird und man zwei unterschiedliche Korrelationslängen vorfindet, die mit unterschiedlichen Exponenten divergieren. Infolgedessen lässt sich der normale isotrope Formalismus des "finite-size scaling" nicht mehr auf dieses System anwenden. In dieser Arbeit wird gezeigt, wie dieser auf den anisotropen Fall zu verallgemeinern ist und wie damit die kritischen Punkte, sowie die dazu gehörenden kritischen Exponenten berechnet werden können.

Computer simulations of two-dimensional colloidal crystals under confinement and shear

In this thesis we are presenting a broadly based computer simulation study of two-dimensional colloidal crystals under different external conditions. In order to fully understand the phenomena which occur when the system is being compressed or when the walls are being sheared, it proved necessary to study also the basic motion of the particles and the diffusion processes which occur in the case without these external forces. In the first part of this thesis we investigate the structural transition in the number of rows which occurs when the crystal is being compressed by placing the structured walls closer together. Previous attempts to locate this transition were impeded by huge hysteresis effects. We were able to determine the transition point with higher precision by applying both the Schmid-Schilling thermodynamic integration method and the phase switch Monte Carlo method in order to determine the free energies. These simulations showed not only that the phase switch method can successfully be applied to systems with a few thousand particles and a soft crystalline structure with a superimposed pattern of defects, but also that this method is way more efficient than a thermodynamic integration when free energy differences are to be calculated. Additionally, the phase switch method enabled us to distinguish between several energetically very similar structures and to determine which one of them was actually stable. Another aspect considered in the first result chapter of this thesis is the ensemble inequivalence which can be observed when the structural transition is studied in the NpT and in the NVT ensemble. The second part of this work deals with the basic motion occurring in colloidal crystals confined by structured walls. Several cases are compared where the walls are placed in different positions, thereby introducing an incommensurability into the crystalline structure. Also the movement of the solitons, which are created in the course of the structural transition, is investigated. Furthermore, we will present results showing that not only the well-known mechanism of vacancies and interstitial particles leads to diffusion in our model system, but that also cooperative ring rotation phenomena occur. In this part and the following we applied Langevin dynamics simulations. In the last chapter of this work we will present results on the effect of shear on the colloidal crystal. The shear was implemented by moving the walls with constant velocity. We have observed shear banding and, depending on the shear velocity, that the inner part of the crystal breaks into several domains with different orientations. At very high shear velocities holes are created in the structure, which originate close to the walls, but also diffuse into the inner part of the crystal.

Novel algorithms for electronic structure based molecular dynamics with linear system-size scaling

Die vorliegende Arbeit behandelt die Entwicklung und Verbesserung von linear skalierenden Algorithmen für Elektronenstruktur basierte Molekulardynamik. Molekulardynamik ist eine Methode zur Computersimulation des komplexen Zusammenspiels zwischen Atomen und Molekülen bei endlicher Temperatur. Ein entscheidender Vorteil dieser Methode ist ihre hohe Genauigkeit und Vorhersagekraft. Allerdings verhindert der Rechenaufwand, welcher grundsätzlich kubisch mit der Anzahl der Atome skaliert, die Anwendung auf große Systeme und lange Zeitskalen. Ausgehend von einem neuen Formalismus, basierend auf dem großkanonischen Potential und einer Faktorisierung der Dichtematrix, wird die Diagonalisierung der entsprechenden Hamiltonmatrix vermieden. Dieser nutzt aus, dass die Hamilton- und die Dichtematrix aufgrund von Lokalisierung dünn besetzt sind. Das reduziert den Rechenaufwand so, dass er linear mit der Systemgröße skaliert. Um seine Effizienz zu demonstrieren, wird der daraus entstehende Algorithmus auf ein System mit flüssigem Methan angewandt, das extremem Druck (etwa 100 GPa) und extremer Temperatur (2000 - 8000 K) ausgesetzt ist. In der Simulation dissoziiert Methan bei Temperaturen oberhalb von 4000 K. Die Bildung von sp²-gebundenem polymerischen Kohlenstoff wird beobachtet. Die Simulationen liefern keinen Hinweis auf die Entstehung von Diamant und wirken sich daher auf die bisherigen Planetenmodelle von Neptun und Uranus aus. Da das Umgehen der Diagonalisierung der Hamiltonmatrix die Inversion von Matrizen mit sich bringt, wird zusätzlich das Problem behandelt, eine (inverse) p-te Wurzel einer gegebenen Matrix zu berechnen. Dies resultiert in einer neuen Formel für symmetrisch positiv definite Matrizen. Sie verallgemeinert die Newton-Schulz Iteration, Altmans Formel für beschränkte und nicht singuläre Operatoren und Newtons Methode zur Berechnung von Nullstellen von Funktionen. Der Nachweis wird erbracht, dass die Konvergenzordnung immer mindestens quadratisch ist und adaptives Anpassen eines Parameters q in allen Fällen zu besseren Ergebnissen führt.

LoneStar : Design and evaluation of an energy-efficient, disk-based archival storage system

Bandlaufwerke waren bisher die vorherrschende Technologie, um die anfallenden Datenmengen in Archivsystemen zu speichern. Mit Zugriffsmustern, die immer aktiver werden, und Speichermedien wie Festplatten die kostenmäßig aufholen, muss die Architektur vor Speichersystemen zur Archivierung neu überdacht werden. Zuverlässigkeit, Integrität und Haltbarkeit sind die Haupteigenschaften der digitalen Archivierung. Allerdings nimmt auch die Zugriffsgeschwindigkeit einen erhöhten Stellenwert ein, wenn aktive Archive ihre gesamten Inhalte für den direkten Zugriff bereitstellen. Ein band-basiertes System kann die hierfür benötigte Parallelität, Latenz und Durchsatz nicht liefern, was in der Regel durch festplattenbasierte Systeme als Zwischenspeicher kompensiert wird.rnIn dieser Arbeit untersuchen wir die Herausforderungen und Möglichkeiten ein festplattenbasiertes Speichersystem zu entwickeln, das auf eine hohe Zuverlässigkeit und Energieeffizienz zielt und das sich sowohl für aktive als auch für kalte Archivumgebungen eignet. Zuerst analysieren wir die Speichersysteme und Zugriffsmuster eines großen digitalen Archivs und präsentieren damit ein mögliches Einsatzgebiet für unsere Architektur. Daraufhin stellen wir Mechanismen vor um die Zuverlässigkeit einer einzelnen Festplatte zu verbessern und präsentieren sowie evaluieren einen neuen, energieeffizienten, zwei- dimensionalen RAID Ansatz der für „Schreibe ein Mal, lese mehrfach“ Zugriffe optimiert ist. Letztlich stellen wir Protokollierungs- und Zwischenspeichermechanismen vor, die die zugrundeliegenden Ziele unterstützen und evaluieren das RAID System in einer Dateisystemumgebung.

Computer simulation of rod-coil block copolymers and tetrapod,polymer mixtures

In this thesis I present a new coarse-grained model suitable to investigate the phase behavior of rod-coil block copolymers on mesoscopic length scales. In this model the rods are represented by hard spherocylinders, whereas the coil block consists of interconnected beads. The interactions between the constituents are based on local densities. This facilitates an efficient Monte-Carlo sampling of the phase space. I verify the applicability of the model and the simulation approach by means of several examples. I treat pure rod systems and mixtures of rod and coil polymers. Then I append coils to the rods and investigate the role of the different model parameters. Furthermore, I compare different implementations of the model. I prove the capability of the rod-coil block copolymers in our model to exhibit typical micro-phase separated configurations as well as extraordinary phases, such as the wavy lamellar state, percolating structuresrnand clusters. Additionally, I demonstrate the metastability of the observed zigzag phase in our model. A central point of this thesis is the examination of the phase behavior of the rod-coil block copolymers in dependence of different chain lengths and interaction strengths between rods and coil. The observations of these studies are summarized in a phase diagram for rod-coil block copolymers. Furthermore, I validate a stabilization of the smectic phase with increasing coil fraction.rnIn the second part of this work I present a side project in which I derive a model permitting the simulation of tetrapods with and without grafted semiconducting block copolymers. The effect of these polymers is added in an implicit manner by effective interactions between the tetrapods. While the depletion interaction is described in an approximate manner within the Asakura-Oosawa model, the free energy penalty for the brush compression is calculated within the Alexander-de Gennes model. Recent experiments with CdSe tetrapods show that grafted tetrapods are clearly much better dispersed in the polymer matrix than bare tetrapods. My simulations confirm that bare tetrapods tend to aggregate in the matrix of excess polymers, while clustering is significantly reduced after grafting polymer chains to the tetrapods. Finally, I propose a possible extension enabling the simulation of a system with fluctuating volume and demonstrate its basic functionality. This study is originated in a cooperation with an experimental group with the goal to analyze the morphology of these systems in order to find the ideal morphology for hybrid solar cells.

A framework for cyber-physical system simulation

In these last years, systems engineering has became one of the major research domains. The complexity of systems has increased constantly and nowadays Cyber-Physical Systems (CPS) are a category of particular interest: these, are systems composed by a cyber part (computer-based algorithms) that monitor and control some physical processes. Their development and simulation are both complex due to the importance of the interaction between the cyber and the physical entities: there are a lot of models written in different languages that need to exchange information among each other. Normally people use an orchestrator that takes care of the simulation of the models and the exchange of informations. This orchestrator is developed manually and this is a tedious and long work. Our proposition is to achieve to generate the orchestrator automatically through the use of Co-Modeling, i.e. by modeling the coordination. Before achieving this ultimate goal, it is important to understand the mechanisms and de facto standards that could be used in a co-modeling framework. So, I studied the use of a technology employed for co-simulation in the industry: FMI. In order to better understand the FMI standard, I realized an automatic export, in the FMI format, of the models realized in an existing software for discrete modeling: TimeSquare. I also developed a simple physical model in the existing open source openmodelica tool. Later, I started to understand how works an orchestrator, developing a simple one: this will be useful in future to generate an orchestrator automatically.

Virtobot--a multi-functional robotic system for 3D surface scanning and automatic post mortem biopsy

The Virtopsy project, a multi-disciplinary project that involves forensic science, diagnostic imaging, computer science, automation technology, telematics and biomechanics, aims to develop new techniques to improve the outcome of forensic investigations. This paper presents a new approach in the field of minimally invasive virtual autopsy for a versatile robotic system that is able to perform three-dimensional (3D) surface scans as well as post mortem image-guided soft tissue biopsies.

PS-GANS: A Patient-Specific, Gravity Assisted Navigation System for Acetabular Cup Placement

In this paper we propose a new system that allows reliable acetabular cup placement when the THA is operated in lateral approach. Conceptually it combines the accuracy of computer-generated patient-specific morphology information with an easy-to-use mechanical guide, which effectively uses natural gravity as the angular reference. The former is achieved by using a statistical shape model-based 2D-3D reconstruction technique that can generate a scaled, patient-specific 3D shape model of the pelvis from a single conventional anteroposterior (AP) pelvic X-ray radiograph. The reconstructed 3D shape model facilitates a reliable and accurate co-registration of the mechanical guide with the patient’s anatomy in the operating theater. We validated the accuracy of our system by conducting experiments on placing seven cups to four pelvises with different morphologies. Taking the measurements from an image-free navigation system as the ground truth, our system showed an average accuracy of 2.1 ±0.7 o for inclination and an average accuracy of 1.2 ±1.4 o for anteversion.

A Portable Image Overlay Projection Device for Computer-Aided Open Liver Surgery

Image overlay projection is a form of augmented reality that allows surgeons to view underlying anatomical structures directly on the patient surface. It improves intuitiveness of computer-aided surgery by removing the need for sight diversion between the patient and a display screen and has been reported to assist in 3-D understanding of anatomical structures and the identification of target and critical structures. Challenges in the development of image overlay technologies for surgery remain in the projection setup. Calibration, patient registration, view direction, and projection obstruction remain unsolved limitations to image overlay techniques. In this paper, we propose a novel, portable, and handheld-navigated image overlay device based on miniature laser projection technology that allows images of 3-D patient-specific models to be projected directly onto the organ surface intraoperatively without the need for intrusive hardware around the surgical site. The device can be integrated into a navigation system, thereby exploiting existing patient registration and model generation solutions. The position of the device is tracked by the navigation system’s position sensor and used to project geometrically correct images from any position within the workspace of the navigation system. The projector was calibrated using modified camera calibration techniques and images for projection are rendered using a virtual camera defined by the projectors extrinsic parameters. Verification of the device’s projection accuracy concluded a mean projection error of 1.3 mm. Visibility testing of the projection performed on pig liver tissue found the device suitable for the display of anatomical structures on the organ surface. The feasibility of use within the surgical workflow was assessed during open liver surgery. We show that the device could be quickly and unobtrusively deployed within the sterile environment.