Active Learning with Statistical Models

For many types of learners one can compute the statistically 'optimal' way to select data. We review how these techniques have been used with feedforward neural networks. We then show how the same principles may be used to select data for two alternative, statistically-based learning architectures: mixtures of Gaussians and locally weighted regression. While the techniques for neural networks are expensive and approximate, the techniques for mixtures of Gaussians and locally weighted regression are both efficient and accurate.

On Convergence Properties of the EM Algorithm for Gaussian Mixtures

"Expectation-Maximization'' (EM) algorithm and gradient-based approaches for maximum likelihood learning of finite Gaussian mixtures. We show that the EM step in parameter space is obtained from the gradient via a projection matrix $P$, and we provide an explicit expression for the matrix. We then analyze the convergence of EM in terms of special properties of $P$ and provide new results analyzing the effect that $P$ has on the likelihood surface. Based on these mathematical results, we present a comparative discussion of the advantages and disadvantages of EM and other algorithms for the learning of Gaussian mixture models.

Learning from Incomplete Data

Real-world learning tasks often involve high-dimensional data sets with complex patterns of missing features. In this paper we review the problem of learning from incomplete data from two statistical perspectives---the likelihood-based and the Bayesian. The goal is two-fold: to place current neural network approaches to missing data within a statistical framework, and to describe a set of algorithms, derived from the likelihood-based framework, that handle clustering, classification, and function approximation from incomplete data in a principled and efficient manner. These algorithms are based on mixture modeling and make two distinct appeals to the Expectation-Maximization (EM) principle (Dempster, Laird, and Rubin 1977)---both for the estimation of mixture components and for coping with the missing data.

On the Convergence of Stochastic Iterative Dynamic Programming Algorithms

Recent developments in the area of reinforcement learning have yielded a number of new algorithms for the prediction and control of Markovian environments. These algorithms, including the TD(lambda) algorithm of Sutton (1988) and the Q-learning algorithm of Watkins (1989), can be motivated heuristically as approximations to dynamic programming (DP). In this paper we provide a rigorous proof of convergence of these DP-based learning algorithms by relating them to the powerful techniques of stochastic approximation theory via a new convergence theorem. The theorem establishes a general class of convergent algorithms to which both TD(lambda) and Q-learning belong.

Hierarchical Mixtures of Experts and the EM Algorithm

We present a tree-structured architecture for supervised learning. The statistical model underlying the architecture is a hierarchical mixture model in which both the mixture coefficients and the mixture components are generalized linear models (GLIM's). Learning is treated as a maximum likelihood problem; in particular, we present an Expectation-Maximization (EM) algorithm for adjusting the parameters of the architecture. We also develop an on-line learning algorithm in which the parameters are updated incrementally. Comparative simulation results are presented in the robot dynamics domain.

Estimating Dependency Structure as a Hidden Variable

This paper introduces a probability model, the mixture of trees that can account for sparse, dynamically changing dependence relationships. We present a family of efficient algorithms that use EMand the Minimum Spanning Tree algorithm to find the ML and MAP mixtureof trees for a variety of priors, including the Dirichlet and the MDL priors.

Estimating Dependency Structure as a Hidden Variable

This paper introduces a probability model, the mixture of trees that can account for sparse, dynamically changing dependence relationships. We present a family of efficient algorithms that use EM and the Minimum Spanning Tree algorithm to find the ML and MAP mixture of trees for a variety of priors, including the Dirichlet and the MDL priors. We also show that the single tree classifier acts like an implicit feature selector, thus making the classification performance insensitive to irrelevant attributes. Experimental results demonstrate the excellent performance of the new model both in density estimation and in classification.

Active citizenship

The aim of this activity is to allow students to explore the nature of political action, which can be thought of as a form of active as opposed to passive citizenship. By learning about and reflecting upon past instances of political action, or activism, students will be able to start thinking about what is likely to make a campaign successful. It is intended that these reflections can then be applied to their own actions as active citizens. It is hoped that the historical case studies combined with the information provided on different campaigning tools and methods will help to make students feel empowered and inspired to take action. In setting students the task of planning an action, it is expected that time management and organizational skills will be improved. It is believed that by putting themselves in the shoes of activists and going through the process of planning an action, they will have an engaged learning experience. The reflective element of the activity encourages students to form and defend opinions on the relative strengths and weaknesses of different campaigning methods, and on the acceptable limits to political action. This learning activity has been designed presuming no prior knowledge of activism or its methods, and has been successfully used with first year undergraduate students from a variety of disciplines. However, the activity provides a basis for more in-depth study of several issues, or alternatively study into further examples of campaign organizations. There are 3 different learning activities presented on this web site. For a dynamic and well-illustrated introduction to contemporary activism, see Jordan, T. (2002) Activism!: Direct Action, Hacktivism and the Future of Society, London: Reaktion Books Ltd. This material is also available via JORUM.

Exercise sheet 2

Exercises and solutions in LaTex

Exercise sheet 2 pdf

Exercises and solutions in PDF

Eficacia diagnostica del ácido láctico en liquido cefalorraquídeo en meningitis postclipaje de aneurisma cerebral y hemorragia subaracnoidea

La concentración de ácido láctico en LCR en pacientes con sospecha de meningitis postquirúrgica luego de clipaje de aneurisma cerebral y hemorragia subaracnoidea espontánea se midió prospectivamente por un período de tres años. Se analizaron un total de 32 muestras de líquido cefalorraquídeo, se midió la concentración de ácido láctico y se comparó con el cultivo de LCR. Los cultivos fueron positivos en cinco pacientes, con una prevalencia de infección del 15%. Se utilizó un valor umbral de ácido láctico de 4 mmol/L. y se encontró una sensibilidad del 80%, especificidad del 52%, VPP del 23%, VPN del 93%, y likelihood ratio (LHR) positivo de 1,66 con una probabilidad post test de 15% de la concentración del ácido láctico en el diagnóstico de meningitis postquirúrgica en pacientes con hemorragia subaracnoidea aneurismática. La concentración de ácido láctico en LCR tiene un desempeño limitado en el diagnóstico de meningitis postquirúrgica en pacientes con hemorragia subaracnoidea aneurismática.

INFO2009 - Team 'DROP TABLE groups;

Edshare for INFO2009 coursework 2 - Team 'DROP TABLE groups;

Determinantes de la gestión clínica en atención médica domiciliaria de personas con secuelas de enfermedad cerebro-vascular

La atención domiciliaria constituye hoy una modalidad de atención que permite solventar las dificultades derivadas de la sobreocupación hospitalaria y la cronicidad, los cuales constituyen un problema de interés en salud pública en los países desarrollados y que pueden ser manejados en el domicilio del paciente como una opción costo-efectiva y segura. Para lo cual es necesario buscar estrategias que permitan su desarrollo, gestión de riesgos y modelos de atención, logrando mejorar las condiciones de salud de la población. Uno de los principales retos de la gestión de programas de atención en salud, se encuentra en definir los aspectos donde intervenir para potenciar la eficacia y la calidad en la prestación del servicio, por lo que dichos aspectos se constituyen como determinantes de la atención del paciente y su familia. En este documento se abordan los principales determinantes en la atención de personas con secuelas de Enfermedad cerebrovascular, que reciben manejo medico domiciliario, con el objetivo de identificar las áreas prioritarias de intervención, garantizando una mejor gestión clínica en tres áreas específicas: sobrecarga del cuidador, Polimedicación y ulceras por decúbito.

La sabiduría como competencia gerencial

Aunque el concepto de sabiduría ha sido ampliamente estudiado por expertos de áreas como la filosofía, la religión y la psicología, aún enfrenta limitaciones en cuanto a su definición y evaluación. Por esto, el presente trabajo tiene como objetivo, formular una definición del concepto de sabiduría que permita realizar una propuesta de evaluación del concepto como competencia en los gerentes. Para esto, se realizó un análisis documental de tipo cualitativo. De esta manera, se analizaron diversos textos sobre la historia, las definiciones y las metodologías para evaluar tanto la sabiduría como las competencias; diferenciando la sabiduría de otros constructos y analizando la diferencia entre las competencias generales y las gerenciales para posteriormente, definir la sabiduría como una competencia gerencial. Como resultado de este análisis se generó un prototipo de prueba denominado SAPIENS-O, a través del cuál se busca evaluar la sabiduría como competencia gerencial. Como alcances del instrumento se pueden identificar la posibilidad de medir la sabiduría como competencia en los gerentes, la posibilidad de dar un nuevo panorama a las dificultades teóricas y empíricas sobre la sabiduría y la posibilidad de facilitar el estudio de la sabiduría en ambientes reales, más específicamente en ambientes organizacionales.

Liderazgo y poder

En este documento, el lector encontrará aspectos teóricos que le permitirán entender los conceptos de liderazgo y poder, mediante la inclusión de tópicos como la evolución y escenarios en los cuales éstos se han venido desarrollando. Con el fin de que el lector genere su propia configuración del líder, el trabajo contiene además la categorización y estilos de liderazgo y las fuentes y usos del poder. Conjuntamente se resaltará la labor del líder y el manejo de su poder dentro de las organizaciones desde un marco competitivo y global, teniendo en cuenta su efectividad, sus distinciones y diferentes manifestaciones. Además, se logra determinar la comunicación y visión del líder como un factor determinante en el entorno empresarial.