A comparison of automated keyphrase extraction techniques and of automatic evaluation vs. human evaluation

Keyphrases are added to documents to help identify the areas of interest they contain. However, in a significant proportion of papers author selected keyphrases are not appropriate for the document they accompany: for instance, they can be classificatory rather than explanatory, or they are not updated when the focus of the paper changes. As such, automated methods for improving the use of keyphrases are needed, and various methods have been published. However, each method was evaluated using a different corpus, typically one relevant to the field of study of the method’s authors. This not only makes it difficult to incorporate the useful elements of algorithms in future work, but also makes comparing the results of each method inefficient and ineffective. This paper describes the work undertaken to compare five methods across a common baseline of corpora. The methods chosen were Term Frequency, Inverse Document Frequency, the C-Value, the NC-Value, and a Synonym based approach. These methods were analysed to evaluate performance and quality of results, and to provide a future benchmark. It is shown that Term Frequency and Inverse Document Frequency were the best algorithms, with the Synonym approach following them. Following these findings, a study was undertaken into the value of using human evaluators to judge the outputs. The Synonym method was compared to the original author keyphrases of the Reuters’ News Corpus. The findings show that authors of Reuters’ news articles provide good keyphrases but that more often than not they do not provide any keyphrases.

Individual assets, market structure and the drivers of return

Much UK research and market practice on portfolio strategy and performance benchmarking relies on a sector‐geography subdivision of properties. Prior tests of the appropriateness of such divisions have generally relied on aggregated or hypothetical return data. However, the results found in aggregate may not hold when individual buildings are considered. This paper makes use of a dataset of individual UK property returns. A series of multivariate exploratory statistical techniques are utilised to test whether the return behaviour of individual properties conforms to their a priori grouping. The results suggest strongly that neither standard sector nor regional classifications provide a clear demarcation of individual building performance. This has important implications for both portfolio strategy and performance measurement and benchmarking. However, there do appear to be size and yield effects that help explain return behaviour at the property level.

KPIs and their properties defined with the EXTREME method

Key Performance Indicators (KPIs) are the main instruments of Business Performance Management. KPIs are the measures that are translated to both the strategy and the business process. These measures are often designed for an industry sector with the assumptions about business processes in organizations. However, the assumptions can be too incomplete to guarantee the required properties of KPIs. This raises the need to validate the properties of KPIs prior to their application to performance measurement. This paper applies the method called EXecutable Requirements Engineering Management and Evolution (EXTREME) for validation of the KPI definitions. EXTREME semantically relates the goal modeling, conceptual modeling and protocol modeling techniques into one methodology. The synchronous composition built into protocol modeling enables raceability of goals in protocol models and constructive definitions of a KPI. The application of the method clarifies the meaning of KPI properties and procedures of their assessment and validation.

Avaliação de desempenho de cadeias de suprimento: um estudo exploratório em uma cadeia de carne de frango no Brasil

Dentro dos diversos setores e atividades econômicas, o agribusiness vem se desenvolvendo com grande força no mundo, impulsionado, sobretudo, pelo aumento da população e a crescente demanda por alimentos. A idéia e o estudo de cadeias já é há algum tempo difundido na literatura sobre Agribusiness, mas com origens, conotações, referenciais teóricos e metodologias específicas ao setor e diferentes das que vem marcando e definindo as pesquisas sobre Supply Chain Management (SCM). Enquanto os estudos sobre cadeias ou sistemas agroindustriais são marcados pela influência da economia e por preocupações com políticas públicas, estruturas de governança e competitividade da indústria e do setor, as pesquisas sobre SCM, como o próprio nome indica, possuem um cunho mais gerencial, seja este direcionado por uma preocupação maior com questões de eficiência e eficácia operacionais ou de atendimento às necessidades dos clientes. Entretanto, embora diferentes quanto à origem, um fundamento é comum ao SCM e aos estudos de sistemas e cadeias agro-industriais, a base sistêmica, ou seja, a visão sistêmica de todo o processo produtivo, desde a produção de insumos até a entrega do produto final ao consumidor. O propósito deste projeto é o de avançar nos estudos sobre cadeias, utilizando os conceitos e abordagens gerenciais desenvolvidos na literatura sobre SCM, mas tendo como unidade de análise uma cadeia agroindustriais, mais especificamente uma cadeia agroalimentar de carne de frango no Brasil. O enfoque principal serão as questões sobre avaliação e medição do desempenho de cadeias.

Participação nos lucros ou resultados nas empresas estatais federais: questões emergentes, problemas e desafios

Esta dissertação é um estudo de caso exploratório sobre a atuação do Departamento de Coordenação e Governança das Empresas Estatais (DEST), vinculado à Secretaria-Executiva do Ministério do Planejamento, Orçamento e Gestão, na análise e na aprovação das propostas de participação nos lucros ou resultados (PLR) dos empregados das empresas estatais em que a União é acionista majoritária. Quatro empresas estatais que apresentaram propostas de PLR para o exercício de 2008 foram selecionadas qualitativamente. As informações coletadas a partir das propostas das empresas, de documentos oficiais do DEST se manifestando sobre o assunto, do marco legal existente e das entrevistas com representantes do órgão foram analisadas criticamente com base na teoria da agência, da literatura sobre mensuração de desempenho no setor público, das reformas administrativas no Brasil e dos pressupostos do novo institucionalismo. Com isso, foi possível: (i) analisar o DEST e o marco legal da PLR enquanto as instituições intermediando o processo entre as propostas e as aprovações; (ii) caracterizar as preferências do DEST em relação aos programas de PLR; (iii) caracterizar as propostas de PLR das empresas estatais; (iv) caracterizar os resultados que as instituições em consideração estão produzindo; (v) analisar os fatores limitantes e/ou facilitadores para o funcionamento das instituições; e (vi) levantar as percepções de ex- e atuais envolvidos no processo de análise e aprovação das propostas no DEST acerca da PLR nas empresas estatais enquanto instrumento de incentivo à produtividade. Como resultado, verificou-se (i) que as aprovações do DEST refletem apenas parcialmente as preferências do órgão com relação ao formato dos programas e (ii) que a atuação do DEST varia de intensidade entre os eixos que compõem os programas (seleção de indicadores, estabelecimento de metas, definição do montante e forma de sua distribuição).

A gestão do poder judiciário uma análise do sistema de mensuração de desempenho do judiciário brasileiro

Esta dissertação traz uma análise do atual sistema de mensuração de desempenho do Poder Judiciário brasileiro, mais especificamente no tocante ao processo que visa à disseminação e a incorporação da prática da mensuração na cultura organizacional das unidades judiciárias de todo o país. Após análise bibliográfica e documental, é tomada a experiência de mensuração do desempenho judiciário dos países europeus como referência comparativa ao sistema brasileiro, bem como são consideradas percepções de gestores deste sistema com relação a seus entendimentos acerca da gestão e mensuração de desempenho no Judiciário, aos esforços políticos e administrativos adotados, ao possível futuro do sistema, dentre outras. Uma vez que esta representa uma primeira experiência no sentido da adoção da mensuração de desempenho judiciário enquanto política nacional, o estudo também discute a natureza de problemas estruturais e organizacionais a serem trabalhados no Judiciário brasileiro visando à prática da mensuração, além da necessidade de uma padronização em processos administrativos ligados a esta prática nas heterogêneas organizações judiciárias brasileiras.

Controles sobre o Judiciário geram governança e eficiência? Estudo sobre o CNJ e a Justiça Estadual

O objetivo desta tese é investigar a atuação do órgão de controle judicial no Poder Judiciário, focando na dimensão “Desempenho Administrativo Judicial”. Esta tese visa complementar o modelo de Taylor (2008) adicionando o CNJ como um elemento da melhoria do desempenho dos tribunais, por meio da implantação de ferramentas gerenciais e ocasionando impactos políticos e institucionais. O estudo se apoia no contexto político e organizacional do Judiciário para apresentar um complemento ao entendimento vigente sobre os mecanismos de mensuração de desempenho. Os impactos do CNJ foram analisados a partir de sete aspectos do processo de Reforma do Judiciário: 1. Padronização das estruturas; 2. Sistemas de gerenciamento centralizados; 3. Padronização de procedimentos internos; 4. Centralização orçamentária; 5. Financiamento de unidades judiciais; 6. Procedimentos disciplinar contra irregularidades e más condutas de magistrados; 7. Critérios meritocráticos e promoção de magistrados. Os dados foram coletados por meio de entrevistas estruturadas com ex-conselheiros e conselheiros atuais do CNJ e considerou os dez anos de existência do CNJ (2004-2013), fornecendo uma perspectiva longitudinal. A análise temática ou categorial foi escolhida como a principal da técnica de análise de conteúdo. Os dados foram segmentados por questões, por categorias prévias e por categorias estabelecidas posteriormente. Foi evidenciado que o CNJ apresenta um efeito direto de atuação no “Desempenho Administrativo Judicial”: i) usando ferramentas de gestão que permitem os tribunais aprimorar a organização interna e elevar o nível de maturidade de governança; ii) moralizando e fiscalizando os Tribunais por meio de inspeções frequentes realizadas pela Corregedoria Nacional de Justiça que objetiva a resolução das irregularidades e o afastamento dos magistrados com más condutas no exercício do cargo. As evidências identificaram também impactos indiretos: i) o CNJ como um coordenador de ações do Judiciário, articulando melhor as relações com os representantes do Executivo e do Legislativo na obtenção de mais recursos orçamentários e financeiros para os tribunais; ii) o CNJ aumenta a autonomia do Judiciário reconhecendo os esforços de gestão dos tribunais e compartilhando as melhores práticas com os outros tribunais, com impactos na melhoria de infraestrutura e no desempenho. O aumento de controle promovido pelo CNJ reforçou a governança e a eficiência dos tribunais, mas com perca de autonomia num primeiro momento. Por outro lado, num segundo momento, possibilitou uma mudança de perfil nas indicações de seus conselheiros numa tentativa de enfraquecer o controle e aumentar autonomia dos tribunais.

Um sistema de metas como ferramenta de gestão pública: "O Programa de Metas da Cidade de São Paulo 2013-2016" sob a perspectiva de seus implementadores

This work, developed within the Master's Degree Program in Public Administration and Government of Eaesp-FGV, consists of an exploratory study on performance measurement in the public sector. It is focused on the identification of complexity elements embedded in the implementation of public policies, to which the goals and targets of a target-oriented system relate, and especially on the implementation of this system as a management tool itself, from the case study of the then ongoing "Programa de Metas da Cidade de São Paulo 2013-2016". All information was obtained from municipal managers, in Government Departments responsible for strategic support activities to the implementation of the system, and sectoral Government Departments whose scope also included crosscutting actions, through interviews conducted from a starting question, and then followed by the free talk of the respondents. Through discourse analysis, an assortment of information was conducted, concerning to: 1) the impacts on management, articulation, and governance of the use of performance measurement and result-oriented management; 2) the flow and publicity of information on performance, produced within the monitoring process of this given target-oriented system, and also concerning the use given to this information; 3) the recording and register of experiences and learning related to the Programa de Metas, and its potential to result as a legacy for the public administrative structure of the City of São Paulo. Assuming that the stories managers tell, in this field of Applied Social Sciences, are as valid as Science or the theoretical constructs on the subject, all information gathered from the point of view of the interviewed public officials was segmented and problematized under the light of the literature on performance measurement. The main objective of this research is to contribute to the creation of parameters for qualitative analysis of the information generated in the implementation of a target-oriented system in Public Management at the local level. It is, from then on, expected that these parameters may help managers and researchers on the monitoring and evaluation of performance of a given government, by favoring the translation of merely arithmetic data on percentage of fulfillment of specific commitments, into eloquent elements more enabled to express the evolution of a mandate. Keywords: result-oriented system, Programa de Metas, management for results, performance measurement, government planning, public policy evaluation, monitoring, implementation, transparency, information legacy.

Do registro ao indicador: gestão da produção da informação assistencial nos hospitais

A valorização da utilização de indicadores assistenciais no monitoramento do desempenho dos sistemas de serviços de saúde cresceu de forma significativa nas últimas décadas. A expansão do Sistema Único de Saúde/SUS e do Sistema de Saúde Suplementar, e as formas de gestão adotadas estimularam o uso de indicadores na avaliação do desempenho, qualidade e segurança nos hospitais, sendo propostos sistemas de indicadores. Não houve uma correspondente preocupação com as condições de produção dos dados e informações para esses indicadores nos serviços de saúde. O artigo discute algumas das condições necessárias para a qualidade nos indicadores para a gestão da assistência nos hospitais: uma cultura de valorização da informação clínica, administrativa e de pesquisa, compartilhada por todos, e a adequada gestão dos registros clínicos, estatísticas hospitalares e sistemas de informações hospitalares. Não existem propostas prontas para a gestão da informação nos hospitais, fazendo-se necessário desenvolver uma capacidade institucional de incorporar e utilizar, na forma mais adequada para cada instituição e contexto, competências e recursos materiais e humanos diversificados, para que a gestão da informação se transforme em um processo dinâmico e parte da gestão do serviço como um todo

Sistemas de medição de desempenho para projetos de PD&I no Setor de Petróleo e Gás Natural

Organizations are seeking new ideas, tools and methods aiming to improve management process and performance. On the other hand, system performance measurement needs to portray organizational changes and provide managers with a set of true and more appropriate information for the decision-making process. This work aims to propose a performance measurement system in the academic field regarding Research, Development and Innovation (RDI) in the oil and gas industry. The research performed a bibliographic review in a descriptive exploratory manner. A field research was conducted with an expert focus group in order to gather new indicators. As for the validation of these indicators, a survey with experienced professional was also realized. The research surveyed four segments in and outside of the Federal University of Rio Grande do Norte-Brazil such as oil and gas project coordinators, staff at Academic Planning Offices, FUNPEC employees as well as coordinators from Petrobrás. The performance measuring system created from this study features three interrelated performance indicators pointed out as: process indicators, outcome indicators and global indicators. The proposal includes performance indicators that seek to establish more appropriate strategies for effective institution management. It might help policy making of university-industry interaction policies

Dietas de baixa proteína no desempenho de frangos criados em diferentes temperaturas

Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)