On the Convergence of Stochastic Iterative Dynamic Programming Algorithms

Recent developments in the area of reinforcement learning have yielded a number of new algorithms for the prediction and control of Markovian environments. These algorithms, including the TD(lambda) algorithm of Sutton (1988) and the Q-learning algorithm of Watkins (1989), can be motivated heuristically as approximations to dynamic programming (DP). In this paper we provide a rigorous proof of convergence of these DP-based learning algorithms by relating them to the powerful techniques of stochastic approximation theory via a new convergence theorem. The theorem establishes a general class of convergent algorithms to which both TD(lambda) and Q-learning belong.

FastAero – A Precorrected FFT – Fast Multipole Tree Steady and Unsteady Potential Flow Solver

In this paper a precorrected FFT-Fast Multipole Tree (pFFT-FMT) method for solving the potential flow around arbitrary three dimensional bodies is presented. The method takes advantage of the efficiency of the pFFT and FMT algorithms to facilitate more demanding computations such as automatic wake generation and hands-off steady and unsteady aerodynamic simulations. The velocity potential on the body surfaces and in the domain is determined using a pFFT Boundary Element Method (BEM) approach based on the Green’s Theorem Boundary Integral Equation. The vorticity trailing all lifting surfaces in the domain is represented using a Fast Multipole Tree, time advected, vortex participle method. Some simple steady state flow solutions are performed to demonstrate the basic capabilities of the solver. Although this paper focuses primarily on steady state solutions, it should be noted that this approach is designed to be a robust and efficient unsteady potential flow simulation tool, useful for rapid computational prototyping.

Seguimiento de un programa de inserción laboral de personas con discapacidad intelectual : estudio de evaluación.

Analizar la influencia de variables procesuales y personales de un Programa de Inserción Laboral sobre los resultados en la inserción de los resultados que se obtienen a lo largo de un ciclo plurianual y definir, en consecuencia, un Modelo de Éxito de Inserción en Empleo de personas con discapacidad intelectual. 131 personas entre 22 y33 años con discapacidad intelectual que participan en un programa local de Inserción Laboral subvencionado y gestionado por dos ONGs. Las variables analizadas se agrupan de acuerdo a la efectividad de procesos (búsqueda de empleo, apoyo a la incorporación laboral y apoyo al mantenimiento laboral) y eficacia de resultados de la Inserción Laboral (genero, edad, nivel educativo, antigüedad en el programa, tipo de discapacidad, porcentaje de discapacidad, situación actual, sector empresarial, tipo de contrato y entidad). El programa de análisis dispone de una base de datos informatizada creada para poder llevar a cabo mediciones y análisis sobre la calidad de los procesos y la evaluación de los usuarios. La información que se obtiene de ella es la utilizada para analizar la eficacia y definir el Modelo de Inserción Laboral de personas con Discapacidad Intelectual. Se utilizan diversas técnicas de análisis para dar respuesta a los objetivos propuestos a través del paquete estadístico SPSS 11.0. Tras una primera estadística descriptiva se realizan una serie de correlaciones y contrastes, un modelo de regresión logístico binomial y una estimación de la función de supervivencia mediante una prueba no paramétrica. A) A mayor porcentaje de discapacidad existe una mayor probabilidad de encontrar empleo, no habiendo ningún tipo de bonificación económica para el empresario en la contratación de personas con discapacidad en función del porcentaje de está; B) Existe bonificación de las cuotas empresariales de la Seguridad Social en función de la edad; C) Las personas con discapacidad psíquica media son las que más probabilidad tienen de estabilizarse en su empleo y las que tienen inteligencia límite las que menos; D) A mayor porcentaje de discapacidad existe mayor probabilidad de conseguir trabajo estable.

Possible solution of some essential zero problems in compositional data analysis

One of the tantalising remaining problems in compositional data analysis lies in how to deal with data sets in which there are components which are essential zeros. By an essential zero we mean a component which is truly zero, not something recorded as zero simply because the experimental design or the measuring instrument has not been sufficiently sensitive to detect a trace of the part. Such essential zeros occur in many compositional situations, such as household budget patterns, time budgets, palaeontological zonation studies, ecological abundance studies. Devices such as nonzero replacement and amalgamation are almost invariably ad hoc and unsuccessful in such situations. From consideration of such examples it seems sensible to build up a model in two stages, the first determining where the zeros will occur and the second how the unit available is distributed among the non-zero parts. In this paper we suggest two such models, an independent binomial conditional logistic normal model and a hierarchical dependent binomial conditional logistic normal model. The compositional data in such modelling consist of an incidence matrix and a conditional compositional matrix. Interesting statistical problems arise, such as the question of estimability of parameters, the nature of the computational process for the estimation of both the incidence and compositional parameters caused by the complexity of the subcompositional structure, the formation of meaningful hypotheses, and the devising of suitable testing methodology within a lattice of such essential zero-compositional hypotheses. The methodology is illustrated by application to both simulated and real compositional data

Alternative ways to estimate change points in multinomial sequences. An application to an authorship attribution problem

The statistical analysis of literary style is the part of stylometry that compares measurable characteristics in a text that are rarely controlled by the author, with those in other texts. When the goal is to settle authorship questions, these characteristics should relate to the author’s style and not to the genre, epoch or editor, and they should be such that their variation between authors is larger than the variation within comparable texts from the same author. For an overview of the literature on stylometry and some of the techniques involved, see for example Mosteller and Wallace (1964, 82), Herdan (1964), Morton (1978), Holmes (1985), Oakes (1998) or Lebart, Salem and Berry (1998). Tirant lo Blanc, a chivalry book, is the main work in catalan literature and it was hailed to be “the best book of its kind in the world” by Cervantes in Don Quixote. Considered by writters like Vargas Llosa or Damaso Alonso to be the first modern novel in Europe, it has been translated several times into Spanish, Italian and French, with modern English translations by Rosenthal (1996) and La Fontaine (1993). The main body of this book was written between 1460 and 1465, but it was not printed until 1490. There is an intense and long lasting debate around its authorship sprouting from its first edition, where its introduction states that the whole book is the work of Martorell (1413?-1468), while at the end it is stated that the last one fourth of the book is by Galba (?-1490), after the death of Martorell. Some of the authors that support the theory of single authorship are Riquer (1990), Chiner (1993) and Badia (1993), while some of those supporting the double authorship are Riquer (1947), Coromines (1956) and Ferrando (1995). For an overview of this debate, see Riquer (1990). Neither of the two candidate authors left any text comparable to the one under study, and therefore discriminant analysis can not be used to help classify chapters by author. By using sample texts encompassing about ten percent of the book, and looking at word length and at the use of 44 conjunctions, prepositions and articles, Ginebra and Cabos (1998) detect heterogeneities that might indicate the existence of two authors. By analyzing the diversity of the vocabulary, Riba and Ginebra (2000) estimates that stylistic boundary to be near chapter 383. Following the lead of the extensive literature, this paper looks into word length, the use of the most frequent words and into the use of vowels in each chapter of the book. Given that the features selected are categorical, that leads to three contingency tables of ordered rows and therefore to three sequences of multinomial observations. Section 2 explores these sequences graphically, observing a clear shift in their distribution. Section 3 describes the problem of the estimation of a suden change-point in those sequences, in the following sections we propose various ways to estimate change-points in multinomial sequences; the method in section 4 involves fitting models for polytomous data, the one in Section 5 fits gamma models onto the sequence of Chi-square distances between each row profiles and the average profile, the one in Section 6 fits models onto the sequence of values taken by the first component of the correspondence analysis as well as onto sequences of other summary measures like the average word length. In Section 7 we fit models onto the marginal binomial sequences to identify the features that distinguish the chapters before and after that boundary. Most methods rely heavily on the use of generalized linear models

Compositional analysis of bivariate discrete probabilities

A joint distribution of two discrete random variables with finite support can be displayed as a two way table of probabilities adding to one. Assume that this table has n rows and m columns and all probabilities are non-null. This kind of table can be seen as an element in the simplex of n · m parts. In this context, the marginals are identified as compositional amalgams, conditionals (rows or columns) as subcompositions. Also, simplicial perturbation appears as Bayes theorem. However, the Euclidean elements of the Aitchison geometry of the simplex can also be translated into the table of probabilities: subspaces, orthogonal projections, distances. Two important questions are addressed: a) given a table of probabilities, which is the nearest independent table to the initial one? b) which is the largest orthogonal projection of a row onto a column? or, equivalently, which is the information in a row explained by a column, thus explaining the interaction? To answer these questions three orthogonal decompositions are presented: (1) by columns and a row-wise geometric marginal, (2) by rows and a columnwise geometric marginal, (3) by independent two-way tables and fully dependent tables representing row-column interaction. An important result is that the nearest independent table is the product of the two (row and column)-wise geometric marginal tables. A corollary is that, in an independent table, the geometric marginals conform with the traditional (arithmetic) marginals. These decompositions can be compared with standard log-linear models. Key words: balance, compositional data, simplex, Aitchison geometry, composition, orthonormal basis, arithmetic and geometric marginals, amalgam, dependence measure, contingency table

Una aproximación metodológica al análisis secuencial de la observación : identificación de patrones conductuales en la interacción niño-adulto.

Describir el discurso empleado en la interacción niño-adulto en un contexto determinado, centrándose en los patrones secuenciales, en los diálogos entre niños de un centro de acogida social de Málaga y adultos, y en el contexto de lectura de cuentos. 39 niños de un centro de acogida social de Málaga con edades de dos a cinco años, de los cuales dieciocho eran internos y veintiuno mediopensionistas. Estos fueron elegidos según el nivel de desarrollo cognitivo eliminándose los niños con puntuajes extremos. La identificación de patrones de intercambio comunicativo se realizó en función de dos variables independientes: el régimen de permanencia del niño en el centro de acogida; la relación que mantiene el adulto con el niño. Lo que se pretende es encontrar patrones secuenciales significativos en la interacción. Comprobar si el diálogo es cualitativamente diferente según la cantidad de contacto que tienen los niños con su figuras de apoyo y en función de que el niño mantenga durante la interacción alguna relación especial de apoyo (madre-hijo) con su interlocutor. Los niños fueron elegidos según el nivel de desarrollo cognitivo controlado con la 'Escala de desarrollo de Brunet-Lezine' y la de inteligencia WPSSI. Los sujetos fueron filmados en interacción diádica en dos ocasiones con una vídeo-cámara. Método de retardos para los datos observacionales recogidos en los diferentes registros; la prueba binomial de Allison y Litrer en todos los análisis; para el análisis de los datos se ha utilizado el programa ELAG. Los niños 'mediopensionistas' aparecen más en las cadenas significativas que los internos; el niño responde con mayor frecuencia a las 'falsas preguntas' que le dirige una extraña que a las de su madre. Es un hecho común a todas las variables consideradas el que los 'reguladores verbales' que dirige el adulto, producen una inhibición de las 'declarativas del niño'. Se cumple el objetivo de la detección de patrones secuenciales significativos en todos los grupos, unos patrones con mayor abundancia de cadenas significativas que otros y con cadenas comunes, a veces, a todos los grupos, pero siempre se ha podido encontrar algo que describa la interacción adulto-niño en el contexto de lectura de cuentos.

Preparación, aplicación, desarrollo y evaluación de dos programas de economía de fichas en dos aulas de Educación Especial.

Estudiar como influye la aplicación de la técnica economía de fichas, en la modificación de la conducta, aplicada al campo educativo y concretamente como se aplica en el rendimiento académico de los alumnos y los resultados que se obtienen. La muestra está constituída por 30 sujetos, divididos en tres clases de Educación Especial, aula A, aula B, y aula C. Las dos primeras pertenecen al Colegio Nacional Gómez Moreno; el aula C pertenece al Colegio Nacional Inmaculada del Triunfo. Ambos colegios están ubicados en Granada. La investigación, en cada aula, esta compuesta de cuatro sesiones de observación cualitativa, con una hora de duración cada una. Se aplican distintas variables dependientes, como son la conducta académica y el rendimiento académico, asi como variables extrañas referidas al ambiente familiar. Para ello se utilizan dos tipos de diseño intrasujeto: el diseño ABA y el diseño ABAB. Test de inteligencia de Wechsler, cuestionario de adaptacion de Bell, escalas de actividad para padres y maestros, sociograma de Moreno. Método de división por la mediana, test binomial, prueba Chi cuadrado, método mínimo cuadrados, prueba T y análisis de covarianza. Las contingencias de reforzamiento con fichas para la conducta académica apropiada, puestas en marcha en las aulas, resultan efectivas para mejorar la conducta académica apropiada. En ambos grupos experimentales se produce un índice de ganancias en el WISC, Bell y escalas de actividad para padres y maestros, que resulta significativo al compararlo con el índice de ganancias exprimentado por el grupo de control. Las contingencias de fichas, dirigidas a la conducta apropiada, se revelan más eficaces que las contingencias de fichas dirigidas al rendimiento positivo, para mejorar la conducta. Los tests sociométricos ponen de manifiesto que los programas de fichas dan lugar a cambios considerables en las estructuras de los grupos. Se pone de manifiesto, que durante la puesta en marcha del programa de economía de fichas decrece considerablemente el nivel de absentismo escolar. Estos tipos de programas deberían comenzarse al inicio del año escolar y prolongarse durante largo tiempo. El entrenamiento del personal que va a intervenir en un programa es fundamental para la aplicación de esta técnica. Esta técnica junto a otras de la terapia de la conducta, necesitan de una mínima infraestructura económica.

El modelo sociopsicológico de retraso mental : evidencias experimentales sobre etiología y tratamiento.

Elaboración y exposición del enfoque o modelo psicosociológico o comportamental del retraso mental con sus peculiares características, así como su aplicación en una situación preferente de trabajo clínico-educativo en una serie de casos piloto. 5 sujetos, unos escolarizados, otros sin escolarizar, y algunos en plan del inicio de escolarización, cuya valoración, diagnóstico y tratamiento se lleva a cabo en el Centro de Educación y Desarrollo Infantil (Centro Privado de Psicología Clínica). La investigación sigue un proceso principalmente de observación directa de los sujetos, también se realiza una valoración historiográfica de cada sujeto, así como una valoración de las ocho áreas que se presentan en los historiogramas: área de conducta previa, área de conducta verbal comprensiva, área de imitación vocal, área de lenguaje funcional, área de conducta motora, área de conducta de autonomía, área de conducta social,área de conducta conceptual. Todo esto se realiza a través de sesiones clínicas, en las que interviene un terapeuta, a lo largo de un año. Observación directa; entrevistas con los padres de los sujetos; Portage Guide to Early Education; escala de Hayden y Dmitriev; material aportado por Luciano Soriano. Análisis visual; prueba de Wilcoxon; prueba binomial; análisis estadístico de series temporales (Simplified Time Series de Tryon). Se muestran a través de gráficos. La definición de retraso mental cambia a retardo en el desarrollo. La identificación del retardo en el desarrollo es inmediata y objetiva. Individualización del diagnóstico conductual. El diagnóstico conductual permite pronosticar el curso del problema y del tratamiento. Relación directa entre diagnóstico y etiología conductuales. Individualización de las técnicas, estrategias o procedimientos de entrenamiento o intervención. Posibilidad de evaluar la fiabilidad de aplicación correcta de la variable independiente: aplicación de una técnica de entrenamiento.

El estilo de crianza parental y su relaci??n con la hiperactividad

Resumen tomado de la publicaci??n

Resolución espontánea de reflujo vesicoureteral primario en niños: factores predictores y nomograma de predicción

Introducción: Determinamos la proporción de resolución espontánea de RVU primario en una población de niños menores de 5 años así como los factores que influyen y predicen tal resolución, con base en lo cual diseñamos un nomograma que permite determinar la posibilidad de resolución espontánea de cada grado de reflujo a los 3 años de su diagnóstico Metodología: Incluimos 407 niños con diagnóstico de RVU primario en un periodo de 10 años. Mediante análisis de asociación y comparaciones de promedios se determinaron las variables que se comportaron como factores de riesgo para fallar en obtener resolución espontanea y por un modelo de regresión logística binomial se confirmaron asociaciones. Se practicaron comparaciones mediante ANOVA o t-test y así como análisis de sobrevida mediante Log Rank Test para determinar las variables que influían también en el tiempo necesario para obtener resolución espontánea. Resultados: Las tasas de resolución espontánea fueron 92%, 85%, 56.4%, 21% y 5% para los grados I a V de reflujo respectivamente. En el análisis multivariado, Las variables nefropatía por reflujo (sig=0,000), Síndrome de evacuación disfuncional (SED) (sig=0,000) y bilateralidad (sig=0,006) fueron los factores de riesgo independientes para la falla del RVU en resolver espontáneamente. Sin embargo, en los análisis de sobrevida solo la variable SED demostró influir en el tiempo necesario para obtener resolución espontanea (sig=0,002). Discusión: Los hallazgos de este estudio ratifican la importancia de incluir variables como SED, nefropatía por reflujo y lateralidad en los modelos de predicción de resolución espontánea del RVU.

Factores de riesgo perinatales para sobrepeso y obesidad en escolares en una población bogotana

Objetivo: Evaluar el impacto de los factores maternos y perinatales: peso previo al embarazo, presencia de hipertensión, diabetes y tabaquismo, peso al nacer y tiempo de lactancia con el desarrollo de sobrepeso y obesidad en los niños de 5 a 10 años en una población bogotana. Materiales y métodos: se realizó un diseño de casos y controles no pareado, incluyendo 528 niños con sus respectivas madres con una relación 1:2, en quienes se identificaron los descritos, y también factores postnatales relevantes: dieta, ejercicio y tiempo de pantalla. Se analizó con un modelo de regresión logística binomial la importancia de cada uno para la patología Resultados:Se encontró una mayor prevalencia de casos en los estratos 1 y 2 comparados con los demás estratos (p= 0,034). También se encontraron diferencias en la prevalencia de sobrepeso y obesidad en las madres de los casos (27%; p =0,01), mayor ingesta calórica en el grupo de los controles (42,9% vs 30,9%; p= 0,04). En el modelo de regresión logística se encontró que los factores que en conjunto mostraron significancia estadística fueron, un peso al nacer mayor de 2500 gr OR 2,31(IC 95%:1,13-4,78 p=0,021), un IMC materno antes de la gestación > de 25 OR 3,42(IC 95%:1,42-8,29 p=0,06), peso al año mayor de 7,5 kg OR 2,77 (IC 95%:1,11-2,78 p=0,028) y una ingesta calórica entre 600 a 1900 calorías/día OR 1.58 (IC 95%:1,06-2,35 p=0,02).Conclusiones: son factores de riesgo para el desarrollo de la obesidad infantil, la progresión hacia un percentil superior en peso, antes el embarazo, nacimiento y primer año de vida.

Exam 85 pdf

Exam questions and solutions in PDF

Exam 1999

Exam and solutions in LaTex

Exercise sheet 8 pdf

Exercises and solutions in PDF