Algoritmos de agrupación para flujos de datos en entornos centralizados y distribuidos

Los avances en el hardware permiten disponer de grandes volúmenes de datos, surgiendo aplicaciones que deben suministrar información en tiempo cuasi-real, la monitorización de pacientes, ej., el seguimiento sanitario de las conducciones de agua, etc. Las necesidades de estas aplicaciones hacen emerger el modelo de flujo de datos (data streaming) frente al modelo almacenar-para-despuésprocesar (store-then-process). Mientras que en el modelo store-then-process, los datos son almacenados para ser posteriormente consultados; en los sistemas de streaming, los datos son procesados a su llegada al sistema, produciendo respuestas continuas sin llegar a almacenarse. Esta nueva visión impone desafíos para el procesamiento de datos al vuelo: 1) las respuestas deben producirse de manera continua cada vez que nuevos datos llegan al sistema; 2) los datos son accedidos solo una vez y, generalmente, no son almacenados en su totalidad; y 3) el tiempo de procesamiento por dato para producir una respuesta debe ser bajo. Aunque existen dos modelos para el cómputo de respuestas continuas, el modelo evolutivo y el de ventana deslizante; éste segundo se ajusta mejor en ciertas aplicaciones al considerar únicamente los datos recibidos más recientemente, en lugar de todo el histórico de datos. En los últimos años, la minería de datos en streaming se ha centrado en el modelo evolutivo. Mientras que, en el modelo de ventana deslizante, el trabajo presentado es más reducido ya que estos algoritmos no sólo deben de ser incrementales si no que deben borrar la información que caduca por el deslizamiento de la ventana manteniendo los anteriores tres desafíos. Una de las tareas fundamentales en minería de datos es la búsqueda de agrupaciones donde, dado un conjunto de datos, el objetivo es encontrar grupos representativos, de manera que se tenga una descripción sintética del conjunto. Estas agrupaciones son fundamentales en aplicaciones como la detección de intrusos en la red o la segmentación de clientes en el marketing y la publicidad. Debido a las cantidades masivas de datos que deben procesarse en este tipo de aplicaciones (millones de eventos por segundo), las soluciones centralizadas puede ser incapaz de hacer frente a las restricciones de tiempo de procesamiento, por lo que deben recurrir a descartar datos durante los picos de carga. Para evitar esta perdida de datos, se impone el procesamiento distribuido de streams, en concreto, los algoritmos de agrupamiento deben ser adaptados para este tipo de entornos, en los que los datos están distribuidos. En streaming, la investigación no solo se centra en el diseño para tareas generales, como la agrupación, sino también en la búsqueda de nuevos enfoques que se adapten mejor a escenarios particulares. Como ejemplo, un mecanismo de agrupación ad-hoc resulta ser más adecuado para la defensa contra la denegación de servicio distribuida (Distributed Denial of Services, DDoS) que el problema tradicional de k-medias. En esta tesis se pretende contribuir en el problema agrupamiento en streaming tanto en entornos centralizados y distribuidos. Hemos diseñado un algoritmo centralizado de clustering mostrando las capacidades para descubrir agrupaciones de alta calidad en bajo tiempo frente a otras soluciones del estado del arte, en una amplia evaluación. Además, se ha trabajado sobre una estructura que reduce notablemente el espacio de memoria necesario, controlando, en todo momento, el error de los cómputos. Nuestro trabajo también proporciona dos protocolos de distribución del cómputo de agrupaciones. Se han analizado dos características fundamentales: el impacto sobre la calidad del clustering al realizar el cómputo distribuido y las condiciones necesarias para la reducción del tiempo de procesamiento frente a la solución centralizada. Finalmente, hemos desarrollado un entorno para la detección de ataques DDoS basado en agrupaciones. En este último caso, se ha caracterizado el tipo de ataques detectados y se ha desarrollado una evaluación sobre la eficiencia y eficacia de la mitigación del impacto del ataque. ABSTRACT Advances in hardware allow to collect huge volumes of data emerging applications that must provide information in near-real time, e.g., patient monitoring, health monitoring of water pipes, etc. The data streaming model emerges to comply with these applications overcoming the traditional store-then-process model. With the store-then-process model, data is stored before being consulted; while, in streaming, data are processed on the fly producing continuous responses. The challenges of streaming for processing data on the fly are the following: 1) responses must be produced continuously whenever new data arrives in the system; 2) data is accessed only once and is generally not maintained in its entirety, and 3) data processing time to produce a response should be low. Two models exist to compute continuous responses: the evolving model and the sliding window model; the latter fits best with applications must be computed over the most recently data rather than all the previous data. In recent years, research in the context of data stream mining has focused mainly on the evolving model. In the sliding window model, the work presented is smaller since these algorithms must be incremental and they must delete the information which expires when the window slides. Clustering is one of the fundamental techniques of data mining and is used to analyze data sets in order to find representative groups that provide a concise description of the data being processed. Clustering is critical in applications such as network intrusion detection or customer segmentation in marketing and advertising. Due to the huge amount of data that must be processed by such applications (up to millions of events per second), centralized solutions are usually unable to cope with timing restrictions and recur to shedding techniques where data is discarded during load peaks. To avoid discarding of data, processing of streams (such as clustering) must be distributed and adapted to environments where information is distributed. In streaming, research does not only focus on designing for general tasks, such as clustering, but also in finding new approaches that fit bests with particular scenarios. As an example, an ad-hoc grouping mechanism turns out to be more adequate than k-means for defense against Distributed Denial of Service (DDoS). This thesis contributes to the data stream mining clustering technique both for centralized and distributed environments. We present a centralized clustering algorithm showing capabilities to discover clusters of high quality in low time and we provide a comparison with existing state of the art solutions. We have worked on a data structure that significantly reduces memory requirements while controlling the error of the clusters statistics. We also provide two distributed clustering protocols. We focus on the analysis of two key features: the impact on the clustering quality when computation is distributed and the requirements for reducing the processing time compared to the centralized solution. Finally, with respect to ad-hoc grouping techniques, we have developed a DDoS detection framework based on clustering.We have characterized the attacks detected and we have evaluated the efficiency and effectiveness of mitigating the attack impact.

Estrategia guiada por modelos para incluir aspectos de seguridad en sistemas empotrados basados en servicios web

En los sistemas distribuidos modernos, como la Internet o Web de las Cosas, la seguridad juega un papel preponderante. Debe prestarse especial atención a la consideración de estos aspectos en las primeras etapas de desarrollo. En este contexto, el desarrollo guiado por modelos de requisitos no funcionales (NF) presenta especial interés, ya que aborda dichas características NF en la etapa de diseño, cuando todavía se pueden realizar análisis, y aun hay margen para modificaciones antes de que estas sean muy costosas. El uso de estas metodologías guiadas por modelos ofrece beneficios tales como el aumento de la productividad, una mayor reutilización de los elementos de diseño, o una mejor mantenibilidad del sistema. Este artículo presenta una estrategia de desarrollo que permite integrar aspectos NF de seguridad (confidencialidad, integridad, y control de acceso) en los sistemas de software empotrado.

Modelo para gestionar el conocimiento en el sector textil de Medellín, empleando dinámica de sistemas

Este artículo evalúa la relación de causalidad entre la gestión del conocimiento y las capacidades de innovación tecnológica, y el efecto de esta relación sobre los resultados operacionales del sector textil en la ciudad de Medellín. Se empleó la metodología de dinámica de sistemas, con simulación de esce­narios para valorar las condiciones actuales de las organizaciones del sector en términos de acumulación de conocimiento y capacidades. La información se obtuvo mediante entrevistas a expertos y acceso a información especializada del sector. Se evidencia que una mejora de la relación entre la gestión del conocimiento e innovación tecnológica genera un incremento aproximado del 15% en los ingresos operacionales del sector. Asimismo, se encontró que a medida que las variables comunes de interés (Es­trategias organizacionales, canales de comunicación, formación, cultura, acciones de fortalecimiento en I+D), se acercan a los valores deseados, la acumulación de conocimiento y de capacidades de innovación tecnológica alcanzan los valores objetivos.

Business Intelligence como soporte de las decisiones estratégicas, tácticas y operacionales de las organizaciones.

La importancia del proceso de toma de decisiones en la determinación del éxito de las compañías; genera la necesidad de contar con una fuente de información confiable que permita la generación de conocimiento oportuno y a disposición de quien lo necesita. El propósito de esta investigación es establecer un marco de referencia de la utilización de Business Intelligence como soporte de las decisiones tácticas, estratégicas y operacionales en las empresas. Iniciando con la descripción de la evolución de los sistemas de información utilizados en el proceso de toma de decisiones, impulsada por los diferentes cambios tecnológicos que han marcado el camino del establecimiento de Business Intelligence como una solución integral para los desafíos que se presentan a diario relacionados con la búsqueda de generación de valor mediante la implementación de decisiones óptimas. Luego se describe la arquitectura de un sistema de inteligencia de negocios en la cual se define elementos básicos para el correcto funcionamiento, como lo son: almacenamiento de datos, funciones empresariales, sistemas de gestión y las interfaces de usuario. Además de describir el proceso y alcance de su correcta implementación, y poder así obtener los beneficios que estos sistemas ofrecen. La metodología desarrollada en la investigación fue descriptiva, y se fundamentó en identificar el grado de utilización de Business Intelligence por los tomadores de decisiones, representados por egresados y graduados de la Maestría en Administración Financiera de la Universidad de El Salvador en el período 2006-2015.

Lineamientos en base a normativa técnica contable para la determinación de los requerimientos del diseño de sistemas contables computarizados en la mediana empresa, sector comercio dedicadas a la compra y venta de repuestos automotrices.

A lo largo del tiempo las necesidades de las empresas se vuelven cada vez mayores, la competencia entre ellas busca herramientas y recursos tecnológicos como los sistemas contables computarizados, que proporcionen efectividad, rapidez y confiabilidad, tanto en los procedimientos como en el procesamiento de información, que faciliten la elaboración de reportes oportunos que sirvan para la toma de decisiones importantes en el crecimiento de la empresa. Lo anterior da paso al cuestionamiento del hecho que si los sistemas actuales son los suficientemente útiles para el desarrollo de sus actividades, para ello se realizó un estudio analítico descriptivo, en el cual se utilizó como herramienta de investigación un cuestionario con preguntas abiertas y cerradas, con el objetivo de demostrar la problemática en que vive la empresa y porque el sistema computarizado actual no cumple con las necesidades que estas presentan durante sus operaciones habituales. Se tomó una muestra de 19 empresas medianas dedicadas a la compra y venta de repuestos automotrices, las cuales indicaron que el 17% no satisface las necesidades de información. Considerando lo anterior, el desarrollo de este trabajo de investigación está dedicado al análisis de todas las áreas de la empresa y de todos los aspectos importantes como lo son: el establecimiento de procedimientos o esquematización de los flujos de actividades en todas sus divisiones, tomando en cuenta la participación de los usuarios tanto operativos como analíticos para establecimiento de necesidades concretas, incluyendo en estas análisis de factores económicos, operativos y organizacionales actuales, con el fin de corregir o mejorar dichos factores para que sean compatibles con el cambio de sistemas. Todos los anteriores son solo una parte de los aspectos a considera dentro del análisis previo para establecer los requerimientos ya sea para la compra, desarrollo o mejoramiento del sistema contable computarizado. El fin de la investigación concluyó en que los sistemas que actualmente se utilizan en las medianas empresas de este ramo, son sistemas computarizados que no han sido desarrollados, sino que pertenecen a programas comercializados en el mercado; estos mismos muestran tener una cierta satisfacción para los usuarios, pero que sin embargo se ven en la necesidad de otras herramientas para el procesamiento y presentación de la información. Es por ello que se recomienda que las empresas al desarrollar o adquirir un sistema contable computarizado, deben de incluir en este proceso el análisis de los procedimientos con los que actualmente cuenta; en muchas ocasiones se busca que las empresas se adecuen a los sistemas, cuando lo correcto es que los sistemas se adecuen las operaciones de estas, ya que existen procedimientos adecuados como óptimos para las actividades que generan y que son modificados o desechados con la adquisición de nuevos programas informáticos. Para ello se propone el conocimiento de los procedimientos a través de una herramienta (adecuable) que permite que los generadores y usuarios de la información viertan y aporten conocimientos idóneos para la determinación de requerimientos en la adquisición, desarrollo o mejoramiento de sistemas contables computarizados. Lo anterior se presenta de una forma consecutiva que procede con el conocimiento general de la empresa, el establecimiento de los distintos procedimientos y la valoración de estos, lo cual al final es valorado conjuntamente, aunado a esto se presenta el estudio de distintos factores como lo son técnicos, organizacionales, operacionales y económicos; estos últimos deben de ser considerados como parte fundamental de todo análisis. La bondad de este método es que puede ser diseñado y acoplado para los distintos tipos de empresas sin importar el tamaño de estas, dejando muestras claras de las aportaciones brindadas por cada una de las partes relacionadas y a su vez deja el rastro suficiente para observar el desarrollo en la toma de decisiones con respecto al desarrollo o adquisición de programas contables computarizados.

Homogeneidade e heterogeneidade nos sistemas educacionais: Argentina, Brasil, Chile e México

This study focus on the reconfiguration of educational management in Argentina, Brazil, Chile and Mexico, which was promoted by the new logic of social regulation and the new role attributed to the State, considering each country's own historicity. So, the cultural factors that interfere on the dynamics of the 90' school reform are analyzed. Aspects that show the homogeneity or heterogeneity of these reforms in the region, as well as local specificities that block out the concretization of the reform are underlined. It is shown that the historicity that characterizes the educational reform has taken, in each country, a form that can be called, in Mexico, conservative rupture; in Chile, conservative continuity; in Brazil, conservative renovation; and, in Argentina, interrupted rupture. Some conclusions about the impact of educational reform in the selected countries are recuperated through the analysis of 186 academic texts on the subject.

Sistemas aquosos bifásicos: fundamentos e aplicações para partição/purificação de proteínas

By the year 2005 the world biochemical market will reach an estimated $ 100 billion and separation processes are a vital link between lab discoveries and the fulfillment of this commercialization potential. The practical application of aqueous two-phase systems (ATPS) to extraction processes has been exploited for several years for the recovery of biological products. Unfortunately, this has not resulted in an extensive presence of the technique in commercial processes. In this paper a critical overview of the fundamental thermodynamic properties related to formation of aqueous two-phase systems and their application to extraction and purification of bioparticules is presented.

Sistematização do dimensionamento técnico e econômico de sistemas fotovoltaicos isolados por meio de programa computacional

One of the main referring subjects to the solar energy is how to compare it economically with other sources of energy, as much alternatives as with conventionals (like the electric grid). The purpose of this work was to develop a software which congregates the technical and economic main data to identify, through methods of microeconomic analysis, the commercial viability in the sizing of photovoltaic systems, besides considering the benefits proceeding from the proper energy generation. Considering the period of useful life of the components of the generation system of photovoltaic electricity, the costs of the energy proceeding from the conventional grid had been identified. For the comparison of the conventional sources, electric grid and diesel generation, three scenes of costs of photovoltaic panels and two for the factor of availability of diesel generation had been used. The results have shown that if the cost of the panels is low and the place of installation is more distant of the electric grid, the photovoltaic system becomes the best option.

Teores de nutrientes na alface irrigada com água residuária aplicada por sistemas de irrigação

A trial was carried out to evaluate the chemical composition in the aerial part of lettuce, cv. 'Elisa', irrigated with wastewater treated with constructed wetland and source deposit water, grown on a Rhodic Hapludox Soil, using the irrigation systems sprinkle, subsurface drip and surface drip irrigation. The experiment was carried out from August 17th to October 3rd of 2001 and the chemical analyses of the lettuce were accomplished to 47 days after transplanting of the seedling. The aerial part of the lettuce was analyzed as for the levels of total nitrogen, nitrate, phosphorus, potassium, calcium, magnesium, sulfur, iron, manganese, copper, zinc, sodium, boron, cobalt and molybdenum. The sodium and the sulfur presented higher levels than the maximum suitable in the aerial part of the lettuce and the smallest level of magnesium, while other chemical elements analyzed were normal and appropriate considering the standard for well-nourished plants, not being influenced by the water type. The sodium was the chemical element that presented the highest levels in the aerial part of the lettuce in the treatments irrigated with wastewater, presenting significant difference in relationship to the treatments irrigated with source deposit water in the three irrigation systems. The use of the different irrigation systems by the application of wastewater treated with constructed wetland did not interfere in the levels of nutrients in the aerial part of the lettuce.

Administração limpa e enxuta em sistemas hidráulicos de colhedoras de cana-de-açúcar

Among the important changes in the production processes, it is necessary to guarantee the sustainability of the human enterprises, what makes us to foresee changes in the managerial administration to adapt to a new model, with the insert of the concepts of Clean Production, Cleaner, Lean and Total Productive Maintenance (TPM). The main focus of this work was to elaborate a methodology that made it possible to guarantee the reliability in the waterworks of the sugarcane harvester, identifying and analyzing the manners of flaws, in order to result in the improvement of the environmental and socioeconomic quality in the atmosphere of an industry of sugarcane through the significant decrease of hydraulic oil spill. Through the existent report in ERP (Enterprise Resource Planning), used in a Sugarcane Industry Plant, it was possible to accompany of the operational acting of the sugarcane harvester used during 03 crops, regarding the manners of flaws in the waterworks of the same ones, and, in one of the crops it was elaborated the total control of the waterworks of 5 harvesters. Based on the obtained data and the developed methodology it was possible to develop a software that specifies the electric outlet of decisions.

Futebol : Analises qualitativas e quantitativas para verificação e modulação de padrões e sistemas complexos de jogo

Universidade Estadual de Campinas . Faculdade de Educação Física

Cultivares de batata para sistemas orgânicos de produção

Informações a respeito de cultivares adaptadas ao sistema de cultivo orgânico são escassas. O objetivo deste estudo foi avaliar, sob sistema de cultivo orgânico, genótipos nacionais e estrangeiros desenvolvidos para o cultivo convencional, quanto ao potencial produtivo, em condições de campo. O experimento foi conduzido em 2008, no Pólo APTA Leste Paulista, em Monte Alegre do Sul-SP. O delineamento experimental foi em blocos ao acaso, com 18 tratamentos e quatro repetições. Cada parcela foi constituída por 80 batatas-semente, dispostas em quatro linhas de 5 m de comprimento, espaçadas de 80 cm, com 25 cm entre tubérculos. Os genótipos avaliados foram Agata, Asterix, Caesar, Cupido, Éden, Melody, Novella e Vivaldi, de origem estrangeira; e Apuã, Aracy, Catucha, IAC Aracy Ruiva, Itararé, Monte Alegre 172, IAC 6090, APTA 16.5, APTA 15.20 e APTA 21.54, nacionais. Foram avaliadas as características de produtividade total e comercial de tubérculos, massa média total e comercial de tubérculos, teor de matéria seca e severidade da pinta-preta (Alternaria solani). Os clones APTA 16.5, APTA 21.54 e IAC 6090, e as cultivares Cupido, Apuã, Itararé e Monte Alegre 172 foram os mais produtivos. 'APTA 21.54' superou os demais em relação a produtividade comercial (18,07 t ha-1), sendo que 'APTA 16.5', 'Cupido', 'IAC 6090' e 'Itararé' formaram o segundo grupo. As maiores massas médias de tubérculos foram apresentadas pelas cultivares Itararé e Cupido. O clone IAC 6090 e as cultivares Aracy e Aracy Ruiva foram as que apresentaram maiores teores de matéria seca, com valor médio de 22,91%. 'APTA 16.5', 'Apuã', 'Aracy', 'Aracy Ruiva', 'Éden', 'Ibituaçú' e 'Monte Alegre 172' apresentaram alto nível de resistência à pinta-preta. As cultivares Itararé, Apuã e Cupido são adaptadas ao cultivo orgânico, e os clones avançados APTA 16.5, APTA 21.54 e IAC 6090 apresentam potencial de cultivo no sistema orgânico.

Classificação de sistemas meteorológicos e comparação da precipitação estimada pelo radar e medida pela rede telemétrica na bacia hidrográfica do alto Tietê

Foram analisadas características da precipitação estimada a partir de 145.194 campos de refletividade, de um total de 827 dias entre 1998 e 2003, obtidos do Radar Meteorológico de São Paulo (RSP). Os eventos foram classificados de acordo com intensidades de precipitação; em Convectivos (EC) e Estratiformes (EE). Quanto à morfologia, cinco tipos de sistemas foram identificados; Convecção Isolada (CI), Brisa Marítima (BM), Linhas de Instabilidade (LI), Bandas Dispersas (BD) e Frentes Frias (FF). Eventos convectivos dominam na primavera e verão e estratiformes no outono e inverno. A CI e a BM tiveram maiores picos de atuação entre outubro e março enquanto as FF de abril a setembro. BD atuam durante todo o ano e as LI só não foram observadas nos meses de junho e julho. Uma comparação pontual entre a precipitação medida pela telemetria e estimada com o radar foi realizada e, mostrou haver, na maioria dos casos, um viés positivo do RSP, para acumulações de 10, 30 e 60 minutos. Com o objetivo de integrar as estimativas de precipitação do radar com as medidas da rede telemétrica, por meio de uma análise objetiva estatística, foram obtidas dos campos de precipitação do radar as estruturas das correlações espaciais em função da distância para acumulações de chuva de 15, 30, 60 e 120 minutos para os cinco tipos de sistemas precipitantes que foram caracterizados. As curvas das correlações espaciais médias de todos os eventos de precipitação de cada sistema foram ajustadas por funções polinomiais de sexta ordem. Os resultados indicam diferenças significativas na estrutura espacial das correlações entre os sistemas precipitantes.

Aplicação do ultra-som em sistemas eletroquímicos: considerações teóricas e experimentais

The aim of this review is to present and discuss the applications of ultrasound in electrochemical systems such as in sonoelectroanalysis and sonoelectrolysis for the electrochemical combustion of organic compounds. Initially, theoretical and experimental aspects are discussed, particularly those related to the enhancement of mass transport and the surface cleaning effects. Some results are included to illustrate alternative geometries for the experimental measurements and the working electrodes used in these systems. In the sequence, the available publications are presented and discussed to demonstrate that ultrasound combined with electrochemical techniques is a powerful set-up for the detection of analytes such as metals and/or organic compounds in hostile media and for the effective destruction of toxic organic substances. At the end, a table summarizes the results already published in the literature.

Influência de diferentes sistemas de solvente água-etanol sobre as propriedades físico-químicas e espectroscópicas dos compostos macrocíclicos feofitina e clorofila α

This work focus on the influence of solvent on the photophysical properties of chlorophyll α and pheophytin. Both compounds are related to the photosynthesis process and are considered prototypes of photosensitizers in Photodynamic Therapy. Fluorescence measurements were developed using water/ethanol mixtures at different compositions, since both solvents could be employed in biological applications. The spectroscopic properties of these compounds undergo profound changes depending on water content in the ethanol due to auto-aggregation processes. The major hydrophobicity and the lower dielectric constant of ethanol when compared with water precluded significantly the auto-aggregation process of these compounds.