Parametrized actor-critic algorithms for finite-horizon MDPs

Due to their non-stationarity, finite-horizon Markov decision processes (FH-MDPs) have one probability transition matrix per stage. Thus the curse of dimensionality affects FH-MDPs more severely than infinite-horizon MDPs. We propose two parametrized 'actor-critic' algorithms to compute optimal policies for FH-MDPs. Both algorithms use the two-timescale stochastic approximation technique, thus simultaneously performing gradient search in the parametrized policy space (the 'actor') on a slower timescale and learning the policy gradient (the 'critic') via a faster recursion. This is in contrast to methods where critic recursions learn the cost-to-go proper. We show w.p 1 convergence to a set with the necessary condition for constrained optima. The proposed parameterization is for FHMDPs with compact action sets, although certain exceptions can be handled. Further, a third algorithm for stochastic control of stopping time processes is presented. We explain why current policy evaluation methods do not work as critic to the proposed actor recursion. Simulation results from flow-control in communication networks attest to the performance advantages of all three algorithms.

Preparing health science students for interdisciplinary professional practice

In 2002, a number of lecturers from different clinical schools within the Faculty of Health Sciences at La Trobe University embarked on the development of a new interdisciplinary professional practice subject to be undertaken by all final-year undergraduate health science students. The subject was designed to better prepare students for their first professional appointment by introducing them to the concepts of interdisciplinary teamwork, the health care context, and the challenges and constraints that organizational contexts present. This report details the background of the project, the consultation and development that took place in the design of the subject, and implementation of the subject. The uniqueness of the project is explained by the number of disciplines involved, the online delivery, and the focus on a set of generic graduate attributes for health science students. It is hoped that students who have undertaken this subject will have a better understanding of the roles of other health professionals and the context in which they will be working by grappling with many real-life professional issues that they will face when they graduate and enter the workforce.

Viilin varahapatteen kehittäminen

Kirjallisuuskatsauksessa käsiteltiin viiliä hapanmaitotuotteena, viilin arviointimenetelmiä sekä viilihapatteissa käytettyjen hapatekantojen vaikutuksia maidossa ja niiden vuorovaikutuksia toisiinsa. Lisäksi pohdittiin viilihapatteiden bakteriofaageja, niiden ehkäisyä sekä solunsisäisiä että -ulkoisia faagiresistenssimekanismeja. Kokeellisessa osassa tutkittiin, onko nykyisten tuotantohapatteiden koostaminen yksittäiskannoista mahdollista, sekä koostettiin uusista Lactococcus lactis ssp. cremoris -kannoista varahapate. Hapatteiden käyttökelpoisuutta tutkittiin rakennemittauksin ja aistinvaraisin menetelmin. Varahapatteen faagikestävyyttä testattiin valmistamalla viiliä ja infektoimalla viilit faaginäytteillä. Hapatekannat viljeltiin fermentorissa, konsentroitiin sentrifugoimalla ja pakastettiin –75 °C:ssa. Hapatteet koostettiin noin 1 päivä ennen viilin valmistusta. Viilit arvioitiin aistinvaraisesti 3–6 hengen ryhmässä ja viileille tehtiin rakennemittaukset (kiinteys, sakeus ja koossapysyvyys) sekä kemialliset analyysit. Aistinvaraisen arvioinnin tulokset käsiteltiin tilastollisesti ja tulosten perusteella tehtiin uudet kantakombinaatiot ja viilit. Tuotantohapatekannoilla valmistetut viilit arvioitiin kolmitestillä (n = 10–11) ja uusilla kannoilla valmistetut viilit arvioitiin profiilitestillä (n = 8). Lisäksi viileille tehtiin rakennemittaukset ja kemialliset analyysit. Varahapatekoosteilla valmistettujen viilien pH laski 4,5:een faagin läsnäollessa 0–10 tunnin viiveellä verrattuna faagivapaisiin viileihin, kun taas tuotantohapatteet eivät hapantuneet faagin läsnäollessa. Aromintuottajat eivät kasvaneet viileissä kunnolla, kun hapate koostettiin yksittäiskannoista. Kolmitestissä ei erotettu nykyisillä tuotantohapatteilla valmistettua viiliä yksittäin koostetusta hapatteesta, eli hapatteita on mahdollista koostaa yksittäiskannoista. Varahapatteilla koostetut viilit poikkesivat profiilitestissä tuotantohapatteella koostetusta viilistä ulkonäkö- ja rakenneominaisuuksiltaan. Makuominaisuuksien suhteen ei viilien välille saatu eroa.

Sanailua, kynäilyä, intoilua ja epäilyä : Oppilaiden kirjoitustaito ja sen arvioiminen alkuopetuksessa

Objectives. In primary education the pupils form a basis for their writing skills. By assessing pupils writing skills the teacher gathers information about the development of their skills and notices possible learning disabilities. The assessment of writing skills requires both knowledge of different evaluation methods and the phonological system in Finnish language. The purpose of this study is to analyze the pupils writing skills and different assessment methods that help the teacher in writing evaluation. The pupils writing skills are viewed from spelling, composing and writing motivation s point of view. Methods. The research material consists of dictation exercises, written stories and writing motivation self-assessments of 19 pupils. Dictation exercises measured the spelling skills of pupils and they were written in the spring of the first grade and the autumn of the second grade. Dictation exercises were analyzed with two different methods: mistake analysis and word-structure analysis. Information of pupils spelling skills development was gathered by comparing their performance in autumn s dictation exercise to spring s dictation. Composing skills were measured with stories that the pupils wrote. Both the stories and the writing motivation s self-assessment were made in the autumn of the second grade. Composing skills were analyzed according to assessment criteria formed for this study. Results. The spelling skill of most of the pupils had developed from the first grade s spring to the second grade s autumn. The spelling skills of half of the pupils (N=9) had improved significantly. The composing skills of the pupils varied largely. Strongest part of the pupils composing skill was following instructions and the weakest part was the use of versatile vocabulary and clause structures. The girls outdid the boys in all segments of their composing skills. For most pupils their spelling skill reflected their composing skill: good spellers were also good story writers. The relation between writing motivation and general writing skill was not this simple: some pupils (N=5) writing motivation was much higher than what would have been expected based on their writing skills.

A performance-based framework for assessing liquefaction potential based on CPT data

This article describes a new performance-based approach for evaluating the return period of seismic soil liquefaction based on standard penetration test (SPT) and cone penetration test (CPT) data. The conventional liquefaction evaluation methods consider a single acceleration level and magnitude and these approaches fail to take into account the uncertainty in earthquake loading. The seismic hazard analysis based on the probabilistic method clearly shows that a particular acceleration value is being contributed by different magnitudes with varying probability. In the new method presented in this article, the entire range of ground shaking and the entire range of earthquake magnitude are considered and the liquefaction return period is evaluated based on the SPT and CPT data. This article explains the performance-based methodology for the liquefaction analysis – starting from probabilistic seismic hazard analysis (PSHA) for the evaluation of seismic hazard and the performance-based method to evaluate the liquefaction return period. A case study has been done for Bangalore, India, based on SPT data and converted CPT values. The comparison of results obtained from both the methods have been presented. In an area of 220 km2 in Bangalore city, the site class was assessed based on large number of borehole data and 58 Multi-channel analysis of surface wave survey. Using the site class and peak acceleration at rock depth from PSHA, the peak ground acceleration at the ground surface was estimated using probabilistic approach. The liquefaction analysis was done based on 450 borehole data obtained in the study area. The results of CPT match well with the results obtained from similar analysis with SPT data.

Importancia de la cartera de referencia en la evaluación de los fondos de inversión españoles a través del alfa de Jensen

Este trabajo ha sido presentado como ponencia en el XI Congreso Internacional de la Asociación de Dirección y Economía de la Empresa (AEDEM), celebrada en París en septiembre de 2002.

Psicólogos no labirinto das acusações: um estudo sobre a falsa denúncia de abuso sexual de pai contra filho no contexto da separação conjugal

Esta pesquisa teve por objetivo compreender como vêm sendo desempenhadas as práticas dos psicólogos que atuam em instituições de referência para atendimentos em casos de alegação de abuso sexual contra a criança. Para este fim, foram analisadas as declarações de dez pais acusados de abusar sexualmente dos filhos, por meio de questionário enviado e recebido por correio eletrônico. Este material permitiu apreender como os pais acusados compreendem a alegação de abuso sexual imputada contra eles e como operam no sentido de provar a inocência. Também foi possível registrar-lhes as impressões, dúvidas e sentimentos eliciados pelas acusações, o que deu subsídio à realização de entrevistas presenciais com psicólogos em etapa posterior. Foram realizadas entrevistas individuais semiestruturadas com cinco psicólogas de cinco instituições diferentes. As informações prestadas permitiram analisar aspectos como a abordagem teórica e os métodos de avaliação psicológica em casos de alegações de abuso sexual contra criança, incluindo uma discussão acerca da ocorrência de falsas denúncias de abuso sexual. A partir dessas informações, foi possível concluir que tais práticas tendem a privilegiar a palavra da criança, esta última, vista, por muitos, como aquela que deverá anunciar e qualificar a denúncia. Nesses termos, os pais são silenciados, enquanto as crianças são colocadas no lugar de responsáveis por decidir questões jurídicas em nome de seus direitos.

Avaliação de textos produzidos na aula de língua portuguesa: abordagens teóricas, questões didático-metodológicas e suas repercussões

Dentro do contexto da avaliação formativa, as práticas de correção dos textos produzidos devem ser entendidas não como medição da aprendizagem, mas principalmente como uma pesquisa, elas devem avaliar o aluno, o professor, o processo, as práticas enunciativas, a mediação, a escola e mesmo a família. Contudo, apesar de essa abordagem sobre a avaliação ser compatível com a concepção sócio-histórica e cognitiva da linguagem, que por sua vez é consoante com as orientações dos PCN de Língua Portuguesa, ela parece ainda se mostrar distante dos métodos adotados pelos professores. O objetivo geral desta dissertação é identificar as abordagens teóricas que subjazem aos métodos avaliativos de professores do ensino fundamental em relação à produção textual. Como objetivos específicos buscou-se (i) mapear os modelos de correção textual utilizado por esses professores a fim de oferecer um panorama sobre a realidade do ensino-aprendizagem da escrita; e (ii) organizar um material teórico capaz de embasar a prática avaliativa não apenas como um componente do ato pedagógico, mas também como componente simbólico da construção da imagem que o aluno tem sobre si e sobre sua capacidade de escrever. Trata-se de uma pesquisa qualitativa constituída por dois corpora, organizados a partir dos seguintes instrumentos: entrevista semiestruturada com sete professores que lecionam no terceiro e quarto ciclos do ensino fundamental em escolas públicas e/ou particulares; e textos escritos por alunos e corrigidos pelos mesmos professores-informantes. Constituindo um total de 35 documentos, cinco de cada professor e 3h48min de gravações transcritas. Para análise dos corpora optou-se pelo paradigma interpretativista, aliado ao paradigma indiciário, que busca olhar para além das recorrências, os dados episódicos, singulares, dados que possam ajudar a levantar hipóteses sobre uma realidade não observável por via direta. Em relação às abordagens teóricas, podem-se perceber três manifestações: (i) as que são focadas no sistema, observável quando o professor privilegia aspectos formais e quando suas marcações, ainda que busquem o aspecto discursivo, não são suficientes para que os alunos efetuem reflexões sobre o uso da língua; (ii) as que flutuam entre o estruturalismo e o sociointeracionismo, quando o professor, embora se utilize de práticas mais interacionais ainda deixa amplo espaço para correções formais; (iii) as que são eminentemente sociointeracionistas, em cujas marcas avaliativas pode-se observar respeito pela autoria, apreciação do texto, interferência significativa e convite à reflexão. Dessas práticas emergem dois papéis sociais dicotômicos assumidos pelo professor: o de revisor, que tem profunda relação com práticas avaliativas de medição, e o de leitor-avaliador, em que se pode perceber, além de métodos ligados ao sociointeracionismo e às práticas avaliativas formativas um outro aspecto singular: a afetividade. Para discorrer sobre cada um desses aspectos propostos, construiu-se uma revisão bibliográfica que buscou incorporar à discussão teórico-metodológica questões de ordem subjetivas, que orientam pensar a escrita não só sob seu aspecto sócio-histórico e cognitivo, mas também afetivo

Avaliação de usabilidade em jogo eletrônico: estudo de caso

Esta pesquisa tem como objetivo documentar o processo de redução de riscos e incertezas de um jogo eletrônico em desenvolvimento por meio da aplicação de métodos de avaliação de Usabilidade. Foi realizado um estudo de caso da utilização de métodos e técnicas de avaliação de Usabilidade durante a produção do jogo eletrônico Dungeonland, conduzido entre 2010 a 2013 ao longo de diversas iterações do produto, da pré-produção ao lançamento. Foram utilizados os métodos de observação direta baseada em problemas, avaliação cooperativa, questionário e entrevista semi-estruturada. Os dados coletados demonstram a evolução do design do jogo, as diferentes metodologias empregadas em cada estágio de desenvolvimento, e o impacto da avaliação no projeto. Apesar de problemas e limitações no emprego dos testes de Usabilidade no produto em questão, o impacto da avaliação foi visto como muito grande e muito positivo pelos desenvolvedores - através de dados qualitativos como protocolos verbais e de gameplay de usuários, e de dados quantitativos sobre suas experiências com o produto que possam ser comparados estatisticamente, os desenvolvedores de jogos têm à sua disposição poderosas ferramentas para estabelecer processos de Design claros, centrados no usuário, e que ofereçam um ambiente onde problemas são rapidamente identificados e soluções são validadas com usuários reais.

Políticas oficiais de avaliação da educação superior e trabalho docente

A pesquisa que aqui se apresenta tem por temática principal o estudo sobre as políticas oficiais de avaliação da educação superior no Brasil e a compreensão crítica sobre as relações que os docentes da Universidade Estadual de Ponta Grossa (UEPG) têm estabelecido com os objetivos reais e proclamados das atuais políticas oficiais. Neste sentido, apresenta-se um breve histórico das concepções de Estado articulado às políticas públicas educacionais formuladas a partir da década de 70. Devido ao forte movimento de centralização dos processos educacionais e descentralização dos mecanismos de financiamento e gestão do sistema de educação que ocorre,principalmente, após os anos 90 com o enquadramento do Brasil no modelo neoliberal e que tem por objetivo atender as necessidades de reestruturação capitalista, prioriza-se a análise das diversas e profundas mudanças vivenciadas, a partir deste período, no trabalho dos docentes da educação superior por meio das constantes avaliações a que estão sendo expostos direta ou indiretamente. A validade e importância de investigar o tema se afirmam pela necessidade de compreender como estas políticas têm alterado a produção e o trabalho do professor universitário, o papel das Instituições de Ensino Superior e a qualidade da educação superior. A reflexão principal se concentra no estudo das intra e inter-relações estabelecidas entre as avaliações nacionais, as avaliações internas da UEPG e o exercício da profissão docente no campo de pesquisa. Os objetivos adotados foram: analisar as concepções de Estado no Brasil e como suas ações influenciaram as políticas educacionais; articular a História do Paraná à da UEPG e as propostas avaliativas do governo federal em relação a educação superior, considerando o período em que as avaliações eram ainda assistemáticas, porém dando ênfase ao momento em que as mesmas se tornaram institucionais; e perceber alguns dos enredamentos criados entre as avaliações externas e internas da UEPG e o trabalho docente. A metodologia empregada baseou-se na Teoria da Complexidade, na Pesquisa Participante e nas argumentações da abordagem do ciclo de políticas. Uma das considerações que podem ser ressaltadas é que a reinterpretação das políticas da instituição e a recontextualização poderiam potencializar o poder de intervenção e participação efetiva dos professores, mas que este processo não tem sido priorizado dentro da conjuntura de sobrevivência a precarização docente.

Towards productivity indicators for performance-based façade design in commercial buildings

Decision-making in the façade design process has a significant influence on several aspects of indoor environment, thereby making it a complex and multi-objective optimisation process. There are two principal barriers in the process of indentifying an optimal façade solution. Firstly, most existing indoor environmental evaluation methods do not account for all the indoor environmental quality (IEQ) aspects relevant to façade design. Secondly, the relationship between the physical properties of a particular façade design option and the resulting economic benefits accrued during its service-life is unknown. In this paper, we introduce the bases for establishing relationships between occupant productivity and the combinatorial effects of four key façade-related IEQ aspects, namely, thermal comfort, aural comfort, visual comfort and air quality, on occupant productivity. The proposed framework's potential is tested against seven existing experimental investigations and its applicability is illustrated by a simple façade design example. The proposed approach ultimately aims to provide a quantitative economic measure of alternative façade design options that would be applicable to early design stage. Aspects of the work that require further experimental validation are identified. © 2012 Elsevier Ltd.

软件体系结构分析与评价方法评述

近年来,软件体系结构逐渐成为软件工程领域的研究热点以及大型软件系统开发和产品线开发中的关键技术.体系结构分析评价的目的是为了识别体系结构设计中的潜在风险,帮助开发人员进行设计决策.从软件体系结构的概念出发,分类介绍了体系结构描述的不同观点,评述了国内外有代表性的分析评价方法和工具.最后探讨了软件体系结构分析评价研究中存在的不足及其原因,作为总结,给出体系结构分析评价未来的发展方向.

土壤侵蚀危险度评价研究进展

通过对已有土壤侵蚀危险度评价研究的分析,将这些评价方法归纳为土壤抗蚀年限评价法、土壤侵蚀危险度主导因子分级评价法和土壤侵蚀危险度模型评价法3大类,并在对各种评价方法综合分析的基础上,对土壤侵蚀危险度评价的研究方向和发展趋势进行讨论。建议今后加强土壤侵蚀危险度定量评价方法,尤其是模型方法的研究。

排队理论在车道收费系统中的应用研究

以排队理论为基础,研究了车道收费系统的排队模型及系统性能指标的评价方法,给出长青收费站在正常收费及繁忙时的性能参数;结合项目实例,给出了收费车道数的设计方法,并给出了车道数与设计小时交通辆(DHV)的变化曲线;最后对以社会总费用为目标的车道数进行了优化设计。

改造型盆地油气成藏机理与油气预测－以银根－额济纳旗盆地为例

Reformed basin is a basin that underwent multiple immense reformation after the sedimentary stage, the major geologic elements of the petroleum system in the prototyped basin are destroyed to a certain extent, and their petroleum system has been reconstructed. This type of basin is frequently found in the course of exploration both home and abroad. In China, especially in the western and southern part of China, the basins in which oil explorations have been conducted are mostly reformed basins. The reformed basins from Paleozoic, Late Mesozoic to Cenozoic are widely distributed in West and South China. They are, and moreover, will be a challenge for oil and gas exploration. The conventional investigation and exploration techniques used in the slightly reconstructed basin just don't work well when facing the reformed basin. Therefore, the study on the reformed basin, especially the study on the pool-forming mechanism and reservoir prediction becomes a focus and one of difficulties for the geologists overseas and domestic. Yingen-Ejinaqi Basin is a typical case of the Late Mesozoic and Cenozoic reformed basins in China. It locates in West China and is a exploration frontier with difficulties and no break through is made for years. A comprehensive research on it will be of significance for oil and gas exploration in similar basins of China. The late research for reformed basin in China now is mainly concentrated on basin classification, formation mechanism, geologic features, and survey technique, distribution regularity of oil accumulation and its dominating factors, assessment of oil exploration prospect and target zones, etc. On the other hand, the study on the pool-forming mechanism and reservoir prediction seems insufficient in systematization, and the research is deficient in methodology and combination of qualitative and quantitative studies, as well as the application of the new theory and techniques. The current efforts are mainly directed to structures (faults), sedimentation, the relationship between reservoir evolution and oil accumulation, and some other relevant fields. However, the application of the new theory and techniques seems to be insufficient such as petroleum system, pool-forming dynamics, fluid pressure compartment, and basin simulation, etc. So is the dynamic and integrated research. As a result, incomplete knowledge and understandings derived from the research on pool-forming mechanism and reservoir prediction often do not accord with rea-lity of the basin. The study and exploration under the guidance of this knowledge will inevitably lead to errors and failure. This paper, based on the previous study of the other geologists on reformed basins, with emphasis on "wholeness or systematic, dynamic and integrated" research, presents a reverse thinking of beginning from conserved units in the basin and the combination of qualitative and quantitative study with new theory and technique by building a geological model. The paper also puts forward a new thought for studying the oil & gas accumulation and reservoir prediction , and establishes a new research system for reformed basin. It is verified by the known reservoir and oil accumulation area in the basin and has a practical value for use and reference. The new ideas and achievements in this research are as following: 1.This is the first time that the system for studying the reformed basin and its pool-forming mechanism and reservoir prediction is presented. A reverse thinking and combination of qualitative & quantitative are applied here with emphasis on "wholeness or systematic, dynamic and integrated" research, new theory, techniques & methods comprehensive use and geologic models building. 2. Identifying criterion and methods, classifying schemes, and denominating principles for the conserved units of reformed basins are presented in this paper. The geologic model of conserved units of Yingen-Ejinaqi Basin has been built. It is a practical method when combined with the traditional way for basin survey and the conserved units study. 3.The dynamic sources of basin deformation are believed to be stress, gravity and thermodynamics. The stress and gravity are key factors in basin deformation and pool forming, especially stress. Scientific proof is provided by classifying the functional type, style and range of the stress, gravity and thermodynamics. 4.The pool forming and reservoir distribution of Yingen-Ejinaqi Basin are controlled by multiple factors or geologic conditions or/and co-controlled by both of them. The qualitative and quantitative research on petroleum system and basin modeling will help us understand and determine the pool-forming period of the conserved unit (timing), the oil migrating direction (orientation), the oil accumulating region (location), the oil distributing border (bordering) and the size of oil accumulation (quantification). Thus the pool-forming and distribution zones can be predicted. 5.Three generating modes (reform-succession type, reform-destroyed type and reform-regenerating type or reform-newborn type) of pool forming for reformed basins are presented here, together with the inner relationships between basin deformation type, overlapping style and pool-forming modes. The pool-forming modes are determined by deformation type and overlapping style. Reservoir distribution will be predicted based on the modes and other concrete pool-forming conditions. 6.The evaluation methods of the conserved units and zones and the parameter selection are reliable in optimal selecting of target zones. The technical terms, new ideas and methods for the study of reformed basins, the pool-forming mechanism and reservoir prediction are presented in this paper. The concepts and terms, the identifying criterion, the denominating principles, the generating modes for pool forming, the methods of reservoir prediction, and the evaluation techniques for conserved units and zones can be used for reference in studies on the petroleum exploration of reformed basins in China and abroad. It serves as a typical example for further research of the reformed basins and the geologic regulations of oil accumulation. It has a practical value of use and reference. The future research in the field of pool-forming mechanism of the reformed basins may well be on the process simulation of pool-forming dynamics of the reformed basins. Experimental work has been conducted to simulate the processes by using quantitative and qualitative methods combined. The further study in this field calls for more efforts.