Development of 2-D MRT based Image Compression Techniques

The thesis explores the area of still image compression. The image compression techniques can be broadly classified into lossless and lossy compression. The most common lossy compression techniques are based on Transform coding, Vector Quantization and Fractals. Transform coding is the simplest of the above and generally employs reversible transforms like, DCT, DWT, etc. Mapped Real Transform (MRT) is an evolving integer transform, based on real additions alone. The present research work aims at developing new image compression techniques based on MRT. Most of the transform coding techniques employ fixed block size image segmentation, usually 8×8. Hence, a fixed block size transform coding is implemented using MRT and the merits and demerits are analyzed for both 8×8 and 4×4 blocks. The N2 unique MRT coefficients, for each block, are computed using templates. Considering the merits and demerits of fixed block size transform coding techniques, a hybrid form of these techniques is implemented to improve the performance of compression. The performance of the hybrid coder is found to be better compared to the fixed block size coders. Thus, if the block size is made adaptive, the performance can be further improved. In adaptive block size coding, the block size may vary from the size of the image to 2×2. Hence, the computation of MRT using templates is impractical due to memory requirements. So, an adaptive transform coder based on Unique MRT (UMRT), a compact form of MRT, is implemented to get better performance in terms of PSNR and HVS The suitability of MRT in vector quantization of images is then experimented. The UMRT based Classified Vector Quantization (CVQ) is implemented subsequently. The edges in the images are identified and classified by employing a UMRT based criteria. Based on the above experiments, a new technique named “MRT based Adaptive Transform Coder with Classified Vector Quantization (MATC-CVQ)”is developed. Its performance is evaluated and compared against existing techniques. A comparison with standard JPEG & the well-known Shapiro’s Embedded Zero-tree Wavelet (EZW) is done and found that the proposed technique gives better performance for majority of images

Image compression predicated on recurrent iterated function systems

Recurrent iterated function systems (RIFSs) are improvements of iterated function systems (IFSs) using elements of the theory of Marcovian stochastic processes which can produce more natural looking images. We construct new RIFSs consisting substantially of a vertical contraction factor function and nonlinear transformations. These RIFSs are applied to image compression.

Rissbildung und Zugtragverhalten von mit Stabstahl und Fasern bewehrtem Ultrahochfesten Beton (UHPC)

Ultrahochfester Beton (UHPC) ist ein sehr gefügedichter zementgebundener Werkstoff, der sich nicht nur durch eine hohe Druckfestigkeit, sondern auch durch einen hohen Widerstand gegen jede Form physikalischen oder chemischen Angriffs auszeichnet. Duktiles Nachbruchverhalten bei Druckversagen wird meist durch die Zugabe dünner kurzer Fasern erreicht. In Kombination mit konventioneller Betonstahl- oder Spannbewehrung ermöglicht UHPC die Ausführung sehr schlanker, weitgespannter Konstruktionen und eröffnet zugleich neue Anwendungsgebiete, wie zum Beispiel die flächenhafte Beschichtung von Brückendecks. Durch das Zusammenwirken kontinuierlicher Bewehrungselemente und diskontinuierlich verteilter kurzer Fasern ergeben sich unter Zugbeanspruchung Unterschiede gegenüber dem bekannten Stahl- und Spannbeton. In der vorliegenden Arbeit wird hierzu ein Modell entwickelt und durch eine umfangreiche Versuchsreihe abgesichert. Ausgangspunkt sind experimentelle und theoretische Untersuchungen zum Verbundverhalten von Stabstählen in einer UHPC-Matrix und zum Einfluss einer Faserzugabe auf das Reiß- und Zugtragverhalten von UHPC. Die Modellbildung für UHPC-Zugelemente mit gemischter Bewehrung aus Stabstahl und Fasern erfolgt auf der Grundlage der Vorgänge am diskreten Riss, die daher sehr ausführlich behandelt werden. Für den elastischen Verformungsbereich der Stabbewehrung (Gebrauchslastbereich) kann damit das Last-Verformungs-Verhalten für kombiniert bewehrte Bauteile mechanisch konsistent unter Berücksichtigung des bei UHPC bedeutsamen hohen Schwindmaßes abgebildet werden. Für die praktische Anwendung wird durch Vereinfachungen ein Näherungsverfahren abgeleitet. Sowohl die theoretischen als auch die experimentellen Untersuchungen bestätigen, dass der faserbewehrte UHPC bei Kombination mit kontinuierlichen Bewehrungselementen selbst kein verfestigendes Verhalten aufweisen muss, um insgesamt verfestigendes Verhalten und damit eine verteilte Rissbildung mit sehr keinen Rissbreiten und Rissabständen zu erzielen. Diese Beobachtungen können mit Hilfe der bisher zur Verfügung stehenden Modelle, die im Wesentlichen eine Superposition isoliert ermittelter Spannungs-Dehnungs-Beziehungen des Faserbetons und des reinen Stahls vorsehen, nicht nachvollzogen werden. Wie die eigenen Untersuchungen zeigen, kann durch ausreichend dimensionierte Stabstahlbewehrung zielgerichtet und ohne unwirtschaftlich hohe Fasergehalte ein gutmütiges Verhalten von UHPC auf Zug erreicht werden. Die sichere Begrenzung der Rissbreiten auf deutlich unter 0,1 mm gewährleistet zugleich die Dauerhaftigkeit auch bei ungünstigen Umgebungsbedingungen. Durch die Minimierung des Material- und Energieeinsatzes und die zu erwartende lange Nutzungsdauer lassen sich so im Sinne der Nachhaltigkeit optimierte Bauteile realisieren.

Zum Querkrafttragverhalten von UHPC-Balken mit kombinierter Bewehrung aus Stahlfasern und Stabstahl

Ultrahochfester Beton besitzt aufgrund seiner Zusammensetzung eine sehr hohe Druckfestigkeit von 150 bis über 200 N/mm² und eine außergewöhnlich hohe Dichtigkeit. Damit werden Anwendungen in stark belasteten Bereichen und mit hohen Anforderungen an die Dauerhaftigkeit des Materials ermöglicht. Gleichzeitig zeigt ultrahochfester Beton bei Erreichen seiner Festigkeit ein sehr sprödes Verhalten. Zur Verhinderung eines explosionsartigen Versagens werden einer UHPC-Mischung Fasern zugegeben oder wird eine Umschnürung mit Stahlrohren ausgebildet. Die Zugabe von Fasern zur Betonmatrix beeinflusst neben der Verformungsfähigkeit auch die Tragfähigkeit des UHPC. Das Versagen der Fasern ist abhängig von Fasergeometrie, Fasergehalt, Verbundverhalten sowie Zugfestigkeit der Faser und gekennzeichnet durch Faserauszug oder Faserreißen. Zur Sicherstellung der Tragfähigkeit kann daher auf konventionelle Bewehrung außer bei sehr dünnen Bauteilen nicht verzichtet werden. Im Rahmen des Schwerpunktprogramms SPP 1182 der Deutschen Forschungsgemeinschaft (DFG) wurden in dem dieser Arbeit zugrunde liegenden Forschungsprojekt die Fragen nach der Beschreibung des Querkrafttragverhaltens von UHPC-Bauteilen mit kombinierter Querkraftbewehrung und der Übertragbarkeit bestehender Querkraftmodelle auf UHPC untersucht. Neben einer umfassenden Darstellung vorhandener Querkraftmodelle für Stahlbetonbauteile ohne Querkraftbewehrung und mit verschiedenen Querkraftbewehrungsarten bilden experimentelle Untersuchungen zum Querkrafttragverhalten an UHPC-Balken mit verschiedener Querkraftbewehrung den Ausgangspunkt der vorliegenden Arbeit. Die experimentellen Untersuchungen beinhalteten zehn Querkraftversuche an UHPC-Balken. Diese Balken waren in Abmessungen und Biegezugbewehrung identisch. Sie unterschieden sich nur in der Art der Querkraftbewehrung. Die Querkraftbewehrungsarten umfassten eine Querkraftbewehrung aus Stahlfasern oder Vertikalstäben, eine kombinierte Querkraftbewehrung aus Stahlfasern und Vertikalstäben und einen Balken ohne Querkraftbewehrung. Obwohl für die in diesem Projekt untersuchten Balken Fasergehalte gewählt wurden, die zu einem entfestigenden Nachrissverhalten des Faserbetons führten, zeigten die Balkenversuche, dass die Zugabe von Stahlfasern die Querkrafttragfähigkeit steigerte. Durch die gewählte Querkraftbewehrungskonfiguration bei ansonsten identischen Balken konnte außerdem eine quantitative Abschätzung der einzelnen Traganteile aus den Versuchen abgeleitet werden. Der profilierte Querschnitt ließ einen großen Einfluss auf das Querkrafttragverhalten im Nachbruchbereich erkennen. Ein relativ stabiles Lastniveau nach Erreichen der Höchstlast konnte einer Vierendeelwirkung zugeordnet werden. Auf Basis dieser Versuchsergebnisse und analytischer Überlegungen zu vorhandenen Querkraftmodellen wurde ein additiver Modellansatz zur Beschreibung des Querkrafttragverhaltens von UHPCBalken mit einer kombinierten Querkraftbewehrung aus Stahlfasern und Vertikalstäben formuliert. Für die Formulierung der Traganteile des Betonquerschnitts und der konventionellen Querkraftbewehrung wurden bekannte Ansätze verwendet. Für die Ermittlung des Fasertraganteils wurde die Faserwirksamkeit zugrunde gelegt. Das Lastniveau im Nachbruchbereich aus Viendeelwirkung ergibt sich aus geometrischen Überlegungen.

A Reinforcement-Learning Approach to Power Management

We describe an adaptive, mid-level approach to the wireless device power management problem. Our approach is based on reinforcement learning, a machine learning framework for autonomous agents. We describe how our framework can be applied to the power management problem in both infrastructure and ad~hoc wireless networks. From this thesis we conclude that mid-level power management policies can outperform low-level policies and are more convenient to implement than high-level policies. We also conclude that power management policies need to adapt to the user and network, and that a mid-level power management framework based on reinforcement learning fulfills these requirements.

Reinforcement Learning by Policy Search

One objective of artificial intelligence is to model the behavior of an intelligent agent interacting with its environment. The environment's transformations can be modeled as a Markov chain, whose state is partially observable to the agent and affected by its actions; such processes are known as partially observable Markov decision processes (POMDPs). While the environment's dynamics are assumed to obey certain rules, the agent does not know them and must learn. In this dissertation we focus on the agent's adaptation as captured by the reinforcement learning framework. This means learning a policy---a mapping of observations into actions---based on feedback from the environment. The learning can be viewed as browsing a set of policies while evaluating them by trial through interaction with the environment. The set of policies is constrained by the architecture of the agent's controller. POMDPs require a controller to have a memory. We investigate controllers with memory, including controllers with external memory, finite state controllers and distributed controllers for multi-agent systems. For these various controllers we work out the details of the algorithms which learn by ascending the gradient of expected cumulative reinforcement. Building on statistical learning theory and experiment design theory, a policy evaluation algorithm is developed for the case of experience re-use. We address the question of sufficient experience for uniform convergence of policy evaluation and obtain sample complexity bounds for various estimators. Finally, we demonstrate the performance of the proposed algorithms on several domains, the most complex of which is simulated adaptive packet routing in a telecommunication network.

Hybrid coordination of reinforcement learning-based behaviors for AUV control

This paper proposes a hybrid coordination method for behavior-based control architectures. The hybrid method takes advantages of the robustness and modularity in competitive approaches as well as optimized trajectories in cooperative ones. This paper shows the feasibility of applying this hybrid method with a 3D-navigation to an autonomous underwater vehicle (AUV). The behaviors are learnt online by means of reinforcement learning. A continuous Q-learning implemented with a feed-forward neural network is employed. Realistic simulations were carried out. The results obtained show the good performance of the hybrid method on behavior coordination as well as the convergence of the behaviors

A behavior-based scheme using reinforcement learning for autonomous underwater vehicles

This paper presents a hybrid behavior-based scheme using reinforcement learning for high-level control of autonomous underwater vehicles (AUVs). Two main features of the presented approach are hybrid behavior coordination and semi on-line neural-Q_learning (SONQL). Hybrid behavior coordination takes advantages of robustness and modularity in the competitive approach as well as efficient trajectories in the cooperative approach. SONQL, a new continuous approach of the Q_learning algorithm with a multilayer neural network is used to learn behavior state/action mapping online. Experimental results show the feasibility of the presented approach for AUVs

Policy gradient based Reinforcement Learning for real autonomous underwater cable tracking

This paper proposes a field application of a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot in cable tracking task. The learning system is characterized by using a direct policy search method for learning the internal state/action mapping. Policy only algorithms may suffer from long convergence times when dealing with real robotics. In order to speed up the process, the learning phase has been carried out in a simulated environment and, in a second step, the policy has been transferred and tested successfully on a real robot. Future steps plan to continue the learning process on-line while on the real robot while performing the mentioned task. We demonstrate its feasibility with real experiments on the underwater robot ICTINEU AUV

Autonomous underwater vehicle control using reinforcement learning policy search methods

Autonomous underwater vehicles (AUV) represent a challenging control problem with complex, noisy, dynamics. Nowadays, not only the continuous scientific advances in underwater robotics but the increasing number of subsea missions and its complexity ask for an automatization of submarine processes. This paper proposes a high-level control system for solving the action selection problem of an autonomous robot. The system is characterized by the use of reinforcement learning direct policy search methods (RLDPS) for learning the internal state/action mapping of some behaviors. We demonstrate its feasibility with simulated experiments using the model of our underwater robot URIS in a target following task

Towards Direct Policy Search Reinforcement Learning for Robot Control

This paper proposes a high-level reinforcement learning (RL) control system for solving the action selection problem of an autonomous robot. Although the dominant approach, when using RL, has been to apply value function based algorithms, the system here detailed is characterized by the use of direct policy search methods. Rather than approximating a value function, these methodologies approximate a policy using an independent function approximator with its own parameters, trying to maximize the future expected reward. The policy based algorithm presented in this paper is used for learning the internal state/action mapping of a behavior. In this preliminary work, we demonstrate its feasibility with simulated experiments using the underwater robot GARBI in a target reaching task

HTC brand reinforcement – �an attempt to create a global brand leader

Research Skills Presentation

Neurobiology of expectancy effects and omission of reinforcement on behavior

The reinforcement omission effects have been traditionally interpreted in terms of: behavioral facilitation after reinforcement omission induced by primary frustration or behavioral suppression after reinforcement delivery induced by postconsummatory states. The studies reviewed here indicate that amygdala is involved in modulation of these effects. However, the fact that amygdala lesions, extensive or selective, can eliminate, reduce and enhance the omission effects makes it difficult to understand how it is the exact nature of their involvement. The amygdala is related to several functions that depend on its connections with other brain systems. Thus, it is necessary to consider the involvement of a more complex neural network in the modulation of the reinforcement omission effects. The connection of amygdala subareas to cortical and subcortical structures may be involved in this modulation since they also are linked to processes related to reward and expectancy.

An artificial economy based on reinforcement learning and agent based modeling

In this paper, we employ techniques from artificial intelligence such as reinforcement learning and agent based modeling as building blocks of a computational model for an economy based on conventions. First we model the interaction among firms in the private sector. These firms behave in an information environment based on conventions, meaning that a firm is likely to behave as its neighbors if it observes that their actions lead to a good pay off. On the other hand, we propose the use of reinforcement learning as a computational model for the role of the government in the economy, as the agent that determines the fiscal policy, and whose objective is to maximize the growth of the economy. We present the implementation of a simulator of the proposed model based on SWARM, that employs the SARSA(λ) algorithm combined with a multilayer perceptron as the function approximation for the action value function.

Compression-based Image Registration

Image registration is an important component of image analysis used to align two or more images. In this paper, we present a new framework for image registration based on compression. The basic idea underlying our approach is the conjecture that two images are correctly registered when we can maximally compress one image given the information in the other. The contribution of this paper is twofold. First, we show that the image registration process can be dealt with from the perspective of a compression problem. Second, we demonstrate that the similarity metric, introduced by Li et al., performs well in image registration. Two different versions of the similarity metric have been used: the Kolmogorov version, computed using standard real-world compressors, and the Shannon version, calculated from an estimation of the entropy rate of the images