Les droits économiques dans l'environnement numérique : portrait de notions en mutation

L'accès généralisé à Internet a remis en question le droit d'auteur. Au milieu des années 90, il s'en trouvait plusieurs pour annoncer la mort de cette institution vieille de quelques siècles. Force est aujourd'hui de constater que le droit d'auteur est toujours bien vivant bien qu'il ait changé. Les droits économiques, qui ont rapidement été appliqués dans l'environnement numérique, témoignent de ces changements. L'analyse de la transmission numérique des fichiers audio expose les mutations qui affectent deux droits économiques en particulier: le droit de reproduction et le droit de communication au public par télécommunication. Ces mutations résultent tantôt de l'intervention du législateur, tantôt de la façon dont on choisit d'appliquer ces droits dans ce nouvel environnement. Elles ont souvent pour effet d'étendre la portée traditionnelle de ces droits économiques. Cela se fait parfois au détriment des rationalités qui en justifient l'existence. De plus, la nouvelle interaction entre ces droits mutés entraîne des effets sur les différents acteurs du droit d'auteur qui sont parfois discutables. Le droit d'auteur a toujours sa raison d'être. Reste à savoir si la forme actuelle des droits économiques est toujours le meilleur véhicule pour atteindre les objectifs sous-jacents. À l'heure où le législateur envisage une simplification du droit d'auteur, une réflexion s'impose au sujet de la forme des droits économiques. Il est grand temps, du moins dans l'environnement numérique, d'adopter une approche qui se fonde plus sur les effets des actes posés que sur leur nature. L'examen des mutations qui affectent les droits économiques dans cet environnement fait d'ailleurs prendre conscience des limites de notre façon positiviste d'envisager ces droits.

Compliance measurement-guided medication management programs in hypertension : a systematic review

Objectif principal: Il n’est pas démontré que les interventions visant à maîtriser voire modérer la médicamentation de patients atteints d’hypertension peuvent améliorer leur gestion de la maladie. Cette revue systématique propose d’évaluer les programmes de gestion contrôlée de la médicamentation pour l’hypertension, en s’appuyant sur la mesure de l’observance des traitements par les patients (CMGM). Design: Revue systématique. Sources de données: MEDLINE, EMBASE, CENTRAL, résumés de conférences internationales sur l’hypertension et bibliographies des articles pertinents. Méthodes: Des essais contrôlés randomisés (ECR) et des études observationnelles (EO) ont été évalués par 2 réviseurs indépendants. L’évaluation de la qualité (de ce matériel) a été réalisée avec l’aide de l’outil de Cochrane de mesure du risque de biais, et a été estimée selon une échelle à quatre niveaux de qualité Une synthèse narrative des données a été effectuée en raison de l'hétérogénéité importante des études. Résultats: 13 études (8 ECR, 5 EO) de 2150 patients hypertendus ont été prises en compte. Parmi elles, 5 études de CMGM avec l’utilisation de dispositifs électroniques comme seule intervention ont relevé une diminution de la tension artérielle (TA), qui pourrait cependant être expliquée par les biais de mesure. L’amélioration à court terme de la TA sous CMGM dans les interventions complexes a été révélée dans 4 études à qualité faible ou modérée. Dans 4 autres études sur les soins intégrés de qualité supérieure, il n'a pas été possible de distinguer l'impact de la composante CMGM, celle-ci pouvant être compromise par des traitements médicamenteux. L’ensemble des études semble par ailleurs montrer qu’un feed-back régulier au médecin traitant peut être un élément essentiel d’efficacité des traitements CMGM, et peut être facilement assuré par une infirmière ou un pharmacien, grâce à des outils de communication appropriés. Conclusions: Aucune preuve convaincante de l'efficacité des traitements CMGM comme technologie de la santé n’a été établie en raison de designs non-optimaux des études identifiées et des ualités méthodologiques insatisfaisantes de celles-ci. Les recherches futures devraient : suivre les normes de qualité approuvées et les recommandations cliniques actuelles pour le traitement de l'hypertension, inclure des groupes spécifiques de patients avec des problèmes d’attachement aux traitements, et considérer les résultats cliniques et économiques de l'organisation de soins ainsi que les observations rapportées par les patients.

Piratage, musique et internet : la solution se trouve-t-elle dans le modèle américain ?

L’échange de fichiers musicaux par Internet permet de faire très exactement ce que toute loi sur le droit d’auteur cherche à interdire : priver de leurs droits les compositeurs, interprètes et agents de distribution des œuvres musicales. Pour l’industrie du disque, le défi est à la fois d’ordre juridique et d’ordre technique. Les lois actuelles sur le droit d’auteur suffiront-elles d’une part à protéger ses intérêts, et dans le cas où les tribunaux acquiesceraient à ses nombreuses demandes, lui faudra-t-il d’autre part tenter de mettre un frein aux progrès technologiques grâce auxquels les internautes peuvent télécharger massivement et en toute impunité leurs pièces musicales préférées? La jurisprudence américaine montre bien que dans les cas où on a cherché aux États-Unis à se servir de la loi sur le droit d’auteur pour bloquer l’utilisation d’une technologie innovatrice, les tribunaux, pour des motifs politiques et juridiques, n’ont fait preuve d’aucune sympathie pour les titulaires de droits d’auteur. En fait, lorsque les tribunaux ont cherché à trop restreindre l’utilisation d’un nouveau mode de dissémination des œuvres, le Congrès est intervenu pour rétablir l’équilibre entre les intérêts des créateurs et ceux des utilisateurs de cette technologie. Au Canada, le droit protège très bien les compositeurs et les interprètes, mais beaucoup moins bien les compagnies de disques. En ce moment, la loi canadienne sur le droit d’auteur accorde à ces dernières un droit d’auteur limité sur leurs produits. Elles peuvent multiplier les exemplaires d’un disque, et le « reproduire sur un support matériel quelconque ». C’est ici que naissent les difficultés : les compagnies productrices de disques n’ont pas un droit clairement identifié à l’égard d’une « représentation » de l’œuvre musicale ou d’une « exécution publique » ou d’une « transmission au public par télécommunication ». Le Parlement canadien aura des choix importants à faire.

La protection des données sur Internet en droit suisse

La protection des données personnelles en Suisse trouve son fondement dans la constitution et se concrétise avant tout dans une loi fédérale adoptée avant l'avènement d'Internet et la généralisation de la transmission d'informations personnelles sur des réseaux numériques. Cette réglementation est complétée par les engagements internationaux de la Suisse et notamment la Convention européenne des Droits de l'Homme du Conseil de l'Europe. L'article délimite tout d'abord le champ d'application de la législation, qui joue un rôle pour le traitement de données personnelles par des particuliers comme par les autorités de l'administration fédérale. Suit une brève analyse des principes fondamentaux (licéité, bonne foi, proportionnalité, finalité, exactitude, communication à l'étranger, sécurité, droit d'accès) et de leur application sur Internet. Enfin, la protection du contenu des messages électroniques privés est brièvement abordée sous l'angle du secret des télécommunications et à la lumière d'une jurisprudence récente du Tribunal fédéral.

T-strip-fed High-Permittivity Rectangular Dielectric Resonator Antenna for Broadband Applications

rectangular low-density, high-permittivity dielectric resona or antenna (DRA) excited by T-shaped microstrip feed offering a 2:1 VSWR bandwidth of -22% at 2.975 GHz is reported. The design methoaology and experimental results of the antenna are discussed. The excellent gain and radiation performance of the proposed antenna project: it as a potential candidate for telecommunication applications

Fluorescence characterization and gain studies on a dye-doped graded index polymer optical-fiber preform

Preparation of an appropriate optical-fiber preform is vital for the fabrication of graded-index polymer optical fibers (GIPOF), which are considered to be a good choice for providing inexpensive high bandwidth data links, for local area networks and telecommunication applications. Recent development of the interfacial gel polymerization technique has caused a dramatic reduction in the total attenuation in GIPOF, and this is one of the potential methods to prepare fiber preforms for the fabrication of dye-doped polymer-fiber amplifiers. In this paper, the preparation of a dye-doped graded-index poly(methyl methacrylate) (PMMA) rod by the interfacial gel polymerization method using a PMMA tube is reported. An organic compound of high-refractive index, viz., diphenyl phthalate (DPP), was used to obtain a graded-index distribution, and Rhodamine B (Rh B), was used to dope the PMMA rod. The refractive index profile of the rod was measured using an interferometric technique and the index exponent was estimated. The single pass gain of the rod was measured at a pump wavelength of 532 nm. The extent of doping of the Rh B in the preform was studied by axially exciting a thin slice of the rod with white light and measuring the spatial variation of the fluorescence intensity across the sample.

“Fabrication and characterization of polymer optical fibers for photonic device applications

Although the main application of optical fibers are in the field of telecommunication, optical fiber based sensors of various designs are becoming valuable devices for wide industrial applications. The advantages of optical fiber-based sensors include high sensitivity, insensitivity to electromagnetic radiation; spark free, light weight and minimal intrusiveness due to their relatively small size and deployment in harsh and hostile environments. It has been proved that POI-7 based sensors can be employed to detect a great variety of parameters including temperature, humidity, pressure, refractive index etc. The proposed thesis presented in six chapters deals with the work carried on dye doped and undoped POF for photonic device applications such as amplifier, laser and sensor

RRNS-convolutional encoded concatenated code for OFDM based wireless communication

The modern telecommunication industry demands higher capacity networks with high data rate. Orthogonal frequency division multiplexing (OFDM) is a promising technique for high data rate wireless communications at reasonable complexity in wireless channels. OFDM has been adopted for many types of wireless systems like wireless local area networks such as IEEE 802.11a, and digital audio/video broadcasting (DAB/DVB). The proposed research focuses on a concatenated coding scheme that improve the performance of OFDM based wireless communications. It uses a Redundant Residue Number System (RRNS) code as the outer code and a convolutional code as the inner code. The bit error rate (BER) performances of the proposed system under different channel conditions are investigated. These include the effect of additive white Gaussian noise (AWGN), multipath delay spread, peak power clipping and frame start synchronization error. The simulation results show that the proposed RRNS-Convolutional concatenated coding (RCCC) scheme provides significant improvement in the system performance by exploiting the inherent properties of RRNS.

Decimation Filter Design Toolbox for Multi-Standard Wireless Transceivers using MATLAB.

The demand for new telecommunication services requiring higher capacities, data rates and different operating modes have motivated the development of new generation multi-standard wireless transceivers. A multi-standard design often involves extensive system level analysis and architectural partitioning, typically requiring extensive calculations. In this research, a decimation filter design tool for wireless communication standards consisting of GSM, WCDMA, WLANa, WLANb, WLANg and WiMAX is developed in MATLAB® using GUIDE environment for visual analysis. The user can select a required wireless communication standard, and obtain the corresponding multistage decimation filter implementation using this toolbox. The toolbox helps the user or design engineer to perform a quick design and analysis of decimation filter for multiple standards without doing extensive calculation of the underlying methods.

Reinforcement Learning solution for Unit Commitment Problem through pursuit method

Unit commitment is an optimization task in electric power generation control sector. It involves scheduling the ON/OFF status of the generating units to meet the load demand with minimum generation cost satisfying the different constraints existing in the system. Numerical solutions developed are limited for small systems and heuristic methodologies find difficulty in handling stochastic cost functions associated with practical systems. This paper models Unit Commitment as a multi stage decision task and Reinforcement Learning solution is formulated through one efficient exploration strategy: Pursuit method. The correctness and efficiency of the developed solutions are verified for standard test systems

A Multi-Mode Sigma-Delta ADC for GSM/WCDMA/ WLAN Applications

The demand for new telecommunication services requiring higher capacities, data rates and different operating modes have motivated the development of new generation multi-standard wireless transceivers. In multistandard design, sigma-delta based ADC is one of the most popular choices. To this end, in this paper we present cascaded 2-2-2 reconfigurable sigma-delta modulator that can handle GSM, WCDMA and WLAN standards. The modulator makes use of a low-distortion swing suppression topology which is highly suitable for wide band applications. In GSM mode, only the first stage (2nd order Σ-Δ ADC) is used to achieve a peak SNDR of 88dB with oversampling ratio of 160 for a bandwidth of 200KHz and for WCDMA mode a 2-2 cascaded structure (4th order) is turned on with 1-bit in the first stage and 2-bit in the second stage to achieve 74 dB peak SNDR with over-sampling ratio of 16 for a bandwidth of 2MHz. Finally, a 2-2-2 cascaded MASH architecture with 4-bit in the last stage is proposed to achieve a peak SNDR of 58dB for WLAN for a bandwidth of 20MHz. The novelty lies in the fact that unused blocks of second and third stages can be made inactive to achieve low power consumption. The modulator is designed in TSMC 0.18um CMOS technology and operates at 1.8 supply voltage

Genetic algorithm based indicator sequence method for exon prediction

Considerable research effort has been devoted in predicting the exon regions of genes. The binary indicator (BI), Electron ion interaction pseudo potential (EIIP), Filter method are some of the methods. All these methods make use of the period three behavior of the exon region. Even though the method suggested in this paper is similar to above mentioned methods , it introduces a set of sequences for mapping the nucleotides selected by applying genetic algorithm and found to be more promising

Air-gap based vertical cavity micro-opto-electro-mechanical Fabry-Perot filters

Mikrooptische Filter sind heutzutage in vielen Bereichen in der Telekommunikation unersetzlich. Wichtige Einsatzgebiete sind aber auch spektroskopische Systeme in der Medizin-, Prozess- und Umwelttechnik. Diese Arbeit befasst sich mit der Technologieentwicklung und Herstellung von luftspaltbasierenden, vertikal auf einem Substrat angeordneten, oberflächenmikromechanisch hergestellten Fabry-Perot-Filtern. Es werden zwei verschiedene Filtervarianten, basierend auf zwei verschiedenen Materialsystemen, ausführlich untersucht. Zum einen handelt es sich dabei um die Weiterentwicklung von kontinuierlich mikromechanisch durchstimmbaren InP / Luftspaltfiltern; zum anderen werden neuartige, kostengünstige Siliziumnitrid / Luftspaltfilter wissenschaftlich behandelt. Der Inhalt der Arbeit ist so gegliedert, dass nach einer Einleitung mit Vergleichen zu Arbeiten und Ergebnissen anderer Forschergruppen weltweit, zunächst einige theoretische Grundlagen zur Berechnung der spektralen Reflektivität und Transmission von beliebigen optischen Schichtanordnungen aufgezeigt werden. Auß erdem wird ein kurzer theoretischer Ü berblick zu wichtigen Eigenschaften von Fabry-Perot-Filtern sowie der Möglichkeit einer mikromechanischen Durchstimmbarkeit gegeben. Daran anschließ end folgt ein Kapitel, welches sich den grundlegenden technologischen Aspekten der Herstellung von luftspaltbasierenden Filtern widmet. Es wird ein Zusammenhang zu wichtigen Referenzarbeiten hergestellt, auf denen diverse Weiterentwicklungen dieser Arbeit basieren. Die beiden folgenden Kapitel erläutern dann ausführlich das Design, die Herstellung und die Charakterisierung der beiden oben erwähnten Filtervarianten. Abgesehen von der vorangehenden Epitaxie von InP / GaInAs Schichten, ist die Herstellung der InP / Luftspaltfilter komplett im Institut durchgeführt worden. Die Herstellungsschritte sind ausführlich in der Arbeit erläutert, wobei ein Schwerpunktthema das trockenchemische Ä tzen von InP sowie GaInAs, welches als Opferschichtmaterial für die Herstellung der Luftspalte genutzt wurde, behandelt. Im Verlauf der wissenschaftlichen Arbeit konnten sehr wichtige technische Verbesserungen entwickelt und eingesetzt werden, welche zu einer effizienteren technologischen Herstellung der Filter führten und in der vorliegenden Niederschrift ausführlich dokumentiert sind. Die hergestellten, für einen Einsatz in der optischen Telekommunikation entworfenen, elektrostatisch aktuierbaren Filter sind aus zwei luftspaltbasierenden Braggspiegeln aufgebaut, welche wiederum jeweils 3 InP-Schichten von (je nach Design) 357nm bzw. 367nm Dicke aufweisen. Die Filter bestehen aus im definierten Abstand parallel übereinander angeordneten Membranen, die über Verbindungsbrücken unterschiedlicher Anzahl und Länge an Haltepfosten befestigt sind. Da die mit 357nm bzw. 367nm vergleichsweise sehr dünnen Schichten freitragende Konstrukte mit bis zu 140 nm Länge bilden, aber trotzdem Positionsgenauigkeiten im nm-Bereich einhalten müssen, handelt es sich hierbei um sehr anspruchsvolle mikromechanische Bauelemente. Um den Einfluss der zahlreichen geometrischen Strukturparameter studieren zu können, wurden verschiedene laterale Filterdesigns implementiert. Mit den realisierten Filter konnte ein enorm weiter spektraler Abstimmbereich erzielt werden. Je nach lateralem Design wurden internationale Bestwerte für durchstimmbare Fabry-Perot-Filter von mehr als 140nm erreicht. Die Abstimmung konnte dabei kontinuierlich mit einer angelegten Spannung von nur wenigen Volt durchgeführt werden. Im Vergleich zu früher berichteten Ergebnissen konnten damit sowohl die Wellenlängenabstimmung als auch die dafür benötigte Abstimmungsspannung signifikant verbessert werden. Durch den hohen Brechungsindexkontrast und die geringe Schichtdicke zeigen die Filter ein vorteilhaftes, extrem weites Stopband in der Größ enordnung um 550nm. Die gewählten, sehr kurzen Kavitätslängen ermöglichen einen freien Spektralbereich des Filters welcher ebenfalls in diesen Größ enordnungen liegt, so dass ein weiter spektraler Einsatzbereich ermöglicht wird. Während der Arbeit zeigte sich, dass Verspannungen in den freitragenden InPSchichten die Funktionsweise der mikrooptischen Filter stark beeinflussen bzw. behindern. Insbesondere eine Unterätzung der Haltepfosten und die daraus resultierende Verbiegung der Ecken an denen sich die Verbindungsbrücken befinden, führte zu enormen vertikalen Membranverschiebungen, welche die Filtereigenschaften verändern. Um optimale Ergebnisse zu erreichen, muss eine weitere Verbesserung der Epitaxie erfolgen. Jedoch konnten durch den zusätzlichen Einsatz einer speziellen Schutzmaske die Unterätzung der Haltepfosten und damit starke vertikale Verformungen reduziert werden. Die aus der Verspannung resultierenden Verformungen und die Reaktion einzelner freistehender InP Schichten auf eine angelegte Gleich- oder Wechselspannung wurde detailliert untersucht. Mittels Weisslichtinterferometrie wurden lateral identische Strukturen verglichen, die aus unterschiedlich dicken InP-Schichten (357nm bzw. 1065nm) bestehen. Einen weiteren Hauptteil der Arbeit stellen Siliziumnitrid / Luftspaltfilter dar, welche auf einem neuen, im Rahmen dieser Dissertation entwickelten, technologischen Ansatz basieren. Die Filter bestehen aus zwei Braggspiegeln, die jeweils aus fünf 590nm dicken, freistehenden Siliziumnitridschichten aufgebaut sind und einem Abstand von 390nm untereinander aufweisen. Die Filter wurden auf Glassubstraten hergestellt. Der Herstellungsprozess ist jedoch auch mit vielen anderen Materialien oder Prozessen kompatibel, so dass z.B. eine Integration mit anderen Bauelemente relativ leicht möglich ist. Die Prozesse dieser ebenfalls oberflächenmikromechanisch hergestellten Filter wurden konsequent auf niedrige Herstellungskosten optimiert. Als Opferschichtmaterial wurde hier amorph abgeschiedenes Silizium verwendet. Der Herstellungsprozess beinhaltet die Abscheidung verspannungsoptimierter Schichten (Silizium und Siliziumnitrid) mittels PECVD, die laterale Strukturierung per reaktiven Ionenätzen mit den Gasen SF6 / CHF3 / Ar sowie Fotolack als Maske, die nasschemische Unterätzung der Opferschichten mittels KOH und das Kritisch-Punkt-Trocken der Proben. Die Ergebnisse der optischen Charakterisierung der Filter zeigen eine hohe Ü bereinstimmung zwischen den experimentell ermittelten Daten und den korrespondierenden theoretischen Modellrechnungen. Weisslichtinterferometermessungen der freigeätzten Strukturen zeigen ebene Filterschichten und bestätigen die hohe vertikale Positioniergenauigkeit, die mit diesem technologischen Ansatz erreicht werden kann.

GaInAsP-basierende Resonatorstrukturen

Physikalische Grundlagenforschung und anwendungsorientierte physikalische Forschung auf den Gebieten nanoskaliger kristalliner und amorpher fester Körper haben in vielfacher Weise eine große Bedeutung. Neben dem Verständnis für die Struktur der Materie und die Wechselwirkung von Objekten von der Größe einiger Atome ist die Erkenntnis über die physikalischen Eigenschaften nanostrukturierter Systeme von hohem Interesse. Diese Forschung eröffnet die Möglichkeit, die mit der Mikroelektronik begonnene Miniaturisierung fortzusetzen und wird darüber hinaus neue Anwendungsfelder eröffnen. Das Erarbeiten der physikalischen Grundlagen der Methoden zur Herstellung und Strukturierung ist dabei zwingend notwendig, da hier Wirkungsprinzipien dominieren, die erst bei Strukturgrößen im Nanometerbereich auftreten oder hinreichend stark ausgeprägt sind. Insbesondere Halbleitermaterialien sind hier von großem Interesse. Die in dieser Arbeit untersuchten Resonatorstrukturen, die auf dem kristallinen Verbindungshalbleitermaterial GaInAsP/InP basieren, erschließen wichtige Anwendungsfelder im Bereich der optischen Datenübertragung sowie der optischen Sensorik. Hergestellt wird das Halbleitermaterial mit der Metallorganischen Gasphasenepitaxie. Die experimentell besimmten Kenngrößen lassen Rückschlüsse auf die Güte der Materialien, die quantenmechanischen Wirkungsprinzipien und die Bauelementcharakteristik zu und führen zu optimal angepassten Kristallstrukturen. Auf Basis dieser optimierten Materialien wurde ein durchstimmbarer Fabry-Perot-Filter hergestellt, der aus einer Kombination aus InP-Membranen und Luftspalten besteht und elektromechanisch aktuiert werden kann. Das GaInAsP dient hierbei als wenige hundert nm dicke Opferschicht, die ätztechnisch hochselektiv beseitigt wird. Die Qualität der Grenzflächen zum InP ist entscheidend für die Qualität der freigeätzten Kavitäten und damit für die mechanische Gesamtstabilität der Struktur. Der in dieser Arbeit beschriebene Filter hat eine Zentralwellenlänge im Bereich von 1550 nm und weist einen Durchstimmbereich von 221 nm auf. Erzielt wurde dieser Wert durch ein konsistentes Modell der wirkenden Verspannungskomponenten und einer optimierten epitaktischen Kontrolle der Verspannungsparameter. Das realisierte Filterbauelement ist vielversprechend für den Einsatz in der optischen Kommunikation im Bereich von WDM (wavelength division multiplexing) Anwendungen. Als weitere Resonatorstrukur wurde ein Asymmetrisch gekoppelter Quantenfilm als optisch aktives Medium, bestehend aus GaInAsP mit variierender Materialkomposition und Verspannung, untersucht, um sein Potential für eine breitbandige Emission zu untersuchen und mit bekannten Modellen zu vergleichen. Als Bauelementdesign wurde eine kantenemittierende Superlumineszenzleuchtdiode gewählt. Das Ergebnis ist eine Emissionskurve von 100 nm, die eine höhere Unabhängigkeit vom Injektionsstrom aufweist als andere bekannte Konzepte. Die quantenmechanischen Wirkungsprinzipien - im wesentlichen die Kopplung der beiden asymmetrischen Potentialtöpfe und die damit verbundene Kopplung der Wellenfunktionen - werden qualitativ diskutiert. Insgesamt bestätigt sich die Eignung des Materials GaInAsP auch für neuartige, qualitativ höchst anspruchsvolle Resonatorstrukturen und die Bedeutung der vorgestellten und untersuchten Resonatorkonzepte. Die vorgestellten Methoden, Materialien und Bauelemente liefern aufgrund ihrer Konzeption und der eingehenden experimentellen Untersuchungen einen Beitrag sowohl zu den zugrunde liegenden mechanischen, optoelektronischen und quantenmechanischen Wirkungsprinzipien der Strukturen, als auch zur Realisierung neuer optoelektronischer Bauelemente.

Reinforcement Learning by Policy Search

One objective of artificial intelligence is to model the behavior of an intelligent agent interacting with its environment. The environment's transformations can be modeled as a Markov chain, whose state is partially observable to the agent and affected by its actions; such processes are known as partially observable Markov decision processes (POMDPs). While the environment's dynamics are assumed to obey certain rules, the agent does not know them and must learn. In this dissertation we focus on the agent's adaptation as captured by the reinforcement learning framework. This means learning a policy---a mapping of observations into actions---based on feedback from the environment. The learning can be viewed as browsing a set of policies while evaluating them by trial through interaction with the environment. The set of policies is constrained by the architecture of the agent's controller. POMDPs require a controller to have a memory. We investigate controllers with memory, including controllers with external memory, finite state controllers and distributed controllers for multi-agent systems. For these various controllers we work out the details of the algorithms which learn by ascending the gradient of expected cumulative reinforcement. Building on statistical learning theory and experiment design theory, a policy evaluation algorithm is developed for the case of experience re-use. We address the question of sufficient experience for uniform convergence of policy evaluation and obtain sample complexity bounds for various estimators. Finally, we demonstrate the performance of the proposed algorithms on several domains, the most complex of which is simulated adaptive packet routing in a telecommunication network.