Optimización de la Entrada Salida mediante librerías y lenguajes paralelos

Uno de los grandes retos de la HPC (High Performance Computing) consiste en optimizar el subsistema de Entrada/Salida, (E/S), o I/O (Input/Output). Ken Batcher resume este hecho en la siguiente frase: "Un supercomputador es un dispositivo que convierte los problemas limitados por la potencia de cálculo en problemas limitados por la E/S" ("A Supercomputer is a device for turning compute-bound problems into I/O-bound problems") . En otras palabras, el cuello de botella ya no reside tanto en el procesamiento de los datos como en la disponibilidad de los mismos. Además, este problema se exacerbará con la llegada del Exascale y la popularización de las aplicaciones Big Data. En este contexto, esta tesis contribuye a mejorar el rendimiento y la facilidad de uso del subsistema de E/S de los sistemas de supercomputación. Principalmente se proponen dos contribuciones al respecto: i) una interfaz de E/S desarrollada para el lenguaje Chapel que mejora la productividad del programador a la hora de codificar las operaciones de E/S; y ii) una implementación optimizada del almacenamiento de datos de secuencias genéticas. Con más detalle, la primera contribución estudia y analiza distintas optimizaciones de la E/S en Chapel, al tiempo que provee a los usuarios de una interfaz simple para el acceso paralelo y distribuido a los datos contenidos en ficheros. Por tanto, contribuimos tanto a aumentar la productividad de los desarrolladores, como a que la implementación sea lo más óptima posible. La segunda contribución también se enmarca dentro de los problemas de E/S, pero en este caso se centra en mejorar el almacenamiento de los datos de secuencias genéticas, incluyendo su compresión, y en permitir un uso eficiente de esos datos por parte de las aplicaciones existentes, permitiendo una recuperación eficiente tanto de forma secuencial como aleatoria. Adicionalmente, proponemos una implementación paralela basada en Chapel.

Análisis y sintonización de aplicaciones paralelas/distribuidas de bioinformática: caso de estudio mpiBLAST

En termes de temps d'execució i ús de dades, les aplicacions paral·leles/distribuïdes poden tenir execucions variables, fins i tot quan s'empra el mateix conjunt de dades d'entrada. Existeixen certs aspectes de rendiment relacionats amb l'entorn que poden afectar dinàmicament el comportament de l'aplicació, tals com: la capacitat de la memòria, latència de la xarxa, el nombre de nodes, l'heterogeneïtat dels nodes, entre d'altres. És important considerar que l'aplicació pot executar-se en diferents configuracions de maquinari i el desenvolupador d'aplicacions no port garantir que els ajustaments de rendiment per a un sistema en particular continuïn essent vàlids per a d'altres configuracions. L'anàlisi dinàmica de les aplicacions ha demostrat ser el millor enfocament per a l'anàlisi del rendiment per dues raons principals. En primer lloc, ofereix una solució molt còmoda des del punt de vista dels desenvolupadors mentre que aquests dissenyen i evaluen les seves aplicacions paral·leles. En segon lloc, perquè s'adapta millor a l'aplicació durant l'execució. Aquest enfocament no requereix la intervenció de desenvolupadors o fins i tot l'accés al codi font de l'aplicació. S'analitza l'aplicació en temps real d'execució i es considra i analitza la recerca dels possibles colls d'ampolla i optimitzacions. Per a optimitzar l'execució de l'aplicació bioinformàtica mpiBLAST, vam analitzar el seu comportament per a identificar els paràmetres que intervenen en el rendiment d'ella, com ara: l'ús de la memòria, l'ús de la xarxa, patrons d'E/S, el sistema de fitxers emprat, l'arquitectura del processador, la grandària de la base de dades biològica, la grandària de la seqüència de consulta, la distribució de les seqüències dintre d'elles, el nombre de fragments de la base de dades i/o la granularitat dels treballs assignats a cada procés. El nostre objectiu és determinar quins d'aquests paràmetres tenen major impacte en el rendiment de les aplicacions i com ajustar-los dinàmicament per a millorar el rendiment de l'aplicació. Analitzant el rendiment de l'aplicació mpiBLAST hem trobat un conjunt de dades que identifiquen cert nivell de serial·lització dintre l'execució. Reconeixent l'impacte de la caracterització de les seqüències dintre de les diferents bases de dades i una relació entre la capacitat dels workers i la granularitat de la càrrega de treball actual, aquestes podrien ser sintonitzades dinàmicament. Altres millores també inclouen optimitzacions relacionades amb el sistema de fitxers paral·lel i la possibilitat d'execució en múltiples multinucli. La grandària de gra de treball està influenciat per factors com el tipus de base de dades, la grandària de la base de dades, i la relació entre grandària de la càrrega de treball i la capacitat dels treballadors.

Teoría de sistemas operativos adaptada a los ciclos formativos de grado superior de informática.

Manual adaptado a los ciclos formativos superiores de informática sobre teoría de sistemas operativos, estructurado en cinco capítulos cuyos contenidos son: introducción a los sistemas operativos, gestión del procesador, gestión de memoria, gestión de entrada y salida y gestión del sistema de ficheros.

A Novel Approach to Context-Aware Content-Based Middleware

La computación ubicua está extendiendo su aplicación desde entornos específicos hacia el uso cotidiano; el Internet de las cosas (IoT, en inglés) es el ejemplo más brillante de su aplicación y de la complejidad intrínseca que tiene, en comparación con el clásico desarrollo de aplicaciones. La principal característica que diferencia la computación ubicua de los otros tipos está en como se emplea la información de contexto. Las aplicaciones clásicas no usan en absoluto la información de contexto o usan sólo una pequeña parte de ella, integrándola de una forma ad hoc con una implementación específica para la aplicación. La motivación de este tratamiento particular se tiene que buscar en la dificultad de compartir el contexto con otras aplicaciones. En realidad lo que es información de contexto depende del tipo de aplicación: por poner un ejemplo, para un editor de imágenes, la imagen es la información y sus metadatos, tales como la hora de grabación o los ajustes de la cámara, son el contexto, mientras que para el sistema de ficheros la imagen junto con los ajustes de cámara son la información, y el contexto es representado por los metadatos externos al fichero como la fecha de modificación o la de último acceso. Esto significa que es difícil compartir la información de contexto, y la presencia de un middleware de comunicación que soporte el contexto de forma explícita simplifica el desarrollo de aplicaciones para computación ubicua. Al mismo tiempo el uso del contexto no tiene que ser obligatorio, porque si no se perdería la compatibilidad con las aplicaciones que no lo usan, convirtiendo así dicho middleware en un middleware de contexto. SilboPS, que es nuestra implementación de un sistema publicador/subscriptor basado en contenido e inspirado en SIENA [11, 9], resuelve dicho problema extendiendo el paradigma con dos elementos: el Contexto y la Función de Contexto. El contexto representa la información contextual propiamente dicha del mensaje por enviar o aquella requerida por el subscriptor para recibir notificaciones, mientras la función de contexto se evalúa usando el contexto del publicador y del subscriptor. Esto permite desacoplar la lógica de gestión del contexto de aquella de la función de contexto, incrementando de esta forma la flexibilidad de la comunicación entre varias aplicaciones. De hecho, al utilizar por defecto un contexto vacío, las aplicaciones clásicas y las que manejan el contexto pueden usar el mismo SilboPS, resolviendo de esta forma la incompatibilidad entre las dos categorías. En cualquier caso la posible incompatibilidad semántica sigue existiendo ya que depende de la interpretación que cada aplicación hace de los datos y no puede ser solucionada por una tercera parte agnóstica. El entorno IoT conlleva retos no sólo de contexto, sino también de escalabilidad. La cantidad de sensores, el volumen de datos que producen y la cantidad de aplicaciones que podrían estar interesadas en manipular esos datos está en continuo aumento. Hoy en día la respuesta a esa necesidad es la computación en la nube, pero requiere que las aplicaciones sean no sólo capaces de escalar, sino de hacerlo de forma elástica [22]. Desgraciadamente no hay ninguna primitiva de sistema distribuido de slicing que soporte un particionamiento del estado interno [33] junto con un cambio en caliente, además de que los sistemas cloud actuales como OpenStack u OpenNebula no ofrecen directamente una monitorización elástica. Esto implica que hay un problema bilateral: cómo puede una aplicación escalar de forma elástica y cómo monitorizar esa aplicación para saber cuándo escalarla horizontalmente. E-SilboPS es la versión elástica de SilboPS y se adapta perfectamente como solución para el problema de monitorización, gracias al paradigma publicador/subscriptor basado en contenido y, a diferencia de otras soluciones [5], permite escalar eficientemente, para cumplir con la carga de trabajo sin sobre-provisionar o sub-provisionar recursos. Además está basado en un algoritmo recientemente diseñado que muestra como añadir elasticidad a una aplicación con distintas restricciones sobre el estado: sin estado, estado aislado con coordinación externa y estado compartido con coordinación general. Su evaluación enseña como se pueden conseguir notables speedups, siendo el nivel de red el principal factor limitante: de hecho la eficiencia calculada (ver Figura 5.8) demuestra cómo se comporta cada configuración en comparación con las adyacentes. Esto permite conocer la tendencia actual de todo el sistema, para saber si la siguiente configuración compensará el coste que tiene con la ganancia que lleva en el throughput de notificaciones. Se tiene que prestar especial atención en la evaluación de los despliegues con igual coste, para ver cuál es la mejor solución en relación a una carga de trabajo dada. Como último análisis se ha estimado el overhead introducido por las distintas configuraciones a fin de identificar el principal factor limitante del throughput. Esto ayuda a determinar la parte secuencial y el overhead de base [26] en un despliegue óptimo en comparación con uno subóptimo. Efectivamente, según el tipo de carga de trabajo, la estimación puede ser tan baja como el 10 % para un óptimo local o tan alta como el 60 %: esto ocurre cuando se despliega una configuración sobredimensionada para la carga de trabajo. Esta estimación de la métrica de Karp-Flatt es importante para el sistema de gestión porque le permite conocer en que dirección (ampliar o reducir) es necesario cambiar el despliegue para mejorar sus prestaciones, en lugar que usar simplemente una política de ampliación. ABSTRACT The application of pervasive computing is extending from field-specific to everyday use. The Internet of Things (IoT) is the shiniest example of its application and of its intrinsic complexity compared with classical application development. The main characteristic that differentiates pervasive from other forms of computing lies in the use of contextual information. Some classical applications do not use any contextual information whatsoever. Others, on the other hand, use only part of the contextual information, which is integrated in an ad hoc fashion using an application-specific implementation. This information is handled in a one-off manner because of the difficulty of sharing context across applications. As a matter of fact, the application type determines what the contextual information is. For instance, for an imaging editor, the image is the information and its meta-data, like the time of the shot or camera settings, are the context, whereas, for a file-system application, the image, including its camera settings, is the information and the meta-data external to the file, like the modification date or the last accessed timestamps, constitute the context. This means that contextual information is hard to share. A communication middleware that supports context decidedly eases application development in pervasive computing. However, the use of context should not be mandatory; otherwise, the communication middleware would be reduced to a context middleware and no longer be compatible with non-context-aware applications. SilboPS, our implementation of content-based publish/subscribe inspired by SIENA [11, 9], solves this problem by adding two new elements to the paradigm: the context and the context function. Context represents the actual contextual information specific to the message to be sent or that needs to be notified to the subscriber, whereas the context function is evaluated using the publisher’s context and the subscriber’s context to decide whether the current message and context are useful for the subscriber. In this manner, context logic management is decoupled from context management, increasing the flexibility of communication and usage across different applications. Since the default context is empty, context-aware and classical applications can use the same SilboPS, resolving the syntactic mismatch that there is between the two categories. In any case, the possible semantic mismatch is still present because it depends on how each application interprets the data, and it cannot be resolved by an agnostic third party. The IoT environment introduces not only context but scaling challenges too. The number of sensors, the volume of the data that they produce and the number of applications that could be interested in harvesting such data are growing all the time. Today’s response to the above need is cloud computing. However, cloud computing applications need to be able to scale elastically [22]. Unfortunately there is no slicing, as distributed system primitives that support internal state partitioning [33] and hot swapping and current cloud systems like OpenStack or OpenNebula do not provide elastic monitoring out of the box. This means there is a two-sided problem: 1) how to scale an application elastically and 2) how to monitor the application and know when it should scale in or out. E-SilboPS is the elastic version of SilboPS. I t is the solution for the monitoring problem thanks to its content-based publish/subscribe nature and, unlike other solutions [5], it scales efficiently so as to meet workload demand without overprovisioning or underprovisioning. Additionally, it is based on a newly designed algorithm that shows how to add elasticity in an application with different state constraints: stateless, isolated stateful with external coordination and shared stateful with general coordination. Its evaluation shows that it is able to achieve remarkable speedups where the network layer is the main limiting factor: the calculated efficiency (see Figure 5.8) shows how each configuration performs with respect to adjacent configurations. This provides insight into the actual trending of the whole system in order to predict if the next configuration would offset its cost against the resulting gain in notification throughput. Particular attention has been paid to the evaluation of same-cost deployments in order to find out which one is the best for the given workload demand. Finally, the overhead introduced by the different configurations has been estimated to identify the primary limiting factor for throughput. This helps to determine the intrinsic sequential part and base overhead [26] of an optimal versus a suboptimal deployment. Depending on the type of workload, this can be as low as 10% in a local optimum or as high as 60% when an overprovisioned configuration is deployed for a given workload demand. This Karp-Flatt metric estimation is important for system management because it indicates the direction (scale in or out) in which the deployment has to be changed in order to improve its performance instead of simply using a scale-out policy.

Sistema de comunicación para mensajería de ficheros (HL7)

El proyecto consiste en la creación de un sistema de mensajería que permita el envío y recepción de ficheros generados por el software de gestión sanitaria UNIT4 Ekon Salus. Las tareas a realizar son, por un lado, la portabilidad del sistema actual basado en Visual Basic a Java y, por el otro, la implementación de un sistema de control y notificación de errores, ya sean generados por el contenido de los ficheros o por la comunicación entre los programas de envío y recepción que constituyen el sistema de mensajería.

Evaluación de modos de traslado de ficheros dentro del sistema de archivo de los sistemas operativos

En la literatura científica que se ocupa del acceso de las persona mayores a las tecnologías de la información (TI), existe un vacío en relación al análisis del uso que hacen estas personas del sistema operativo (SO). Otras disciplinas han observado que un porcentaje importante de laspersonas mayores está deseando seguir trabajando o seguir estudiando. Ambas actividades, entre otras, pasan ineludiblemente por el uso del SO. Por otro lado, declaraciones de instituciones sociales, como resoluciones de la ONU o decálogos deontológicos de colegiosprofesionales de las TI, se han posicionado a favor de la necesidad de desarrollar unas TI que den acceso universal a las personas. En este estudio se analiza con qué métodos de trasladararchivos por el sistema de archivos del SO las personas mayores generan menos errores y se sienten más cómodas. Como resultado se obtuvo que los métodos que generan menos errores son aquellos que implican menos memoria de trabajo, generalmente muy afectada por la edad.De las observaciones realizadas se extraen conclusiones con respecto a las soluciones de diseño escogidas en los SO al uso que llevan a los usuarios mayores a confusión. Por último, y basándose en dichas conclusiones, se presenta un prototipo de alto nivel de interfaz de sistemade archivos y de traslado de documentos que prevenga las mencionadas confusiones.

Automatização do sistema de alinhamento utilizado na calibração de hidrómetros pelo método de Cuckow

A evolução científica e tecnológica que se fez sentir nas últimas décadas criou novos desafios relacionados com uma crescente complexidade dos processos de calibração, bem como a exigência e o rigor dos métodos utilizados. A presente dissertação foi realizada no âmbito de um estágio curricular no Laboratório de Propriedades dos Líquidos do Departamento de Metrologia do Instituto Português da Qualidade (IPQ). A temática do estudo resulta da procura continuada, por parte desta entidade, pelo aperfeiçoamento das metodologias de calibração. Devido à ampla utilização, em diferentes áreas da indústria e serviços, de hidrómetros, a calibração destes tornou-se uma atividade de relevo no Departamento de Metrologia do IPQ. O foco da presente dissertação prendeu-se com a melhoria do processo de calibração de hidrómetros, segundo o método de Cuckow, mais especificamente, com a necessidade de diminuir a componente da incerteza proveniente do operador no alinhamento do traço da escala a calibrar com a superfície do líquido de referência no método de calibração de hidrómetros por pesagem hidrostática. Com este objetivo, foi desenvolvido e validado um automatismo, constituído por uma câmara, um servomotor e um software de controlo. O objetivo principal do trabalho foi alcançado com a implementação do automatismo, permitindo uma redução, na ordem de duas a quatro vezes, da incerteza final do método de calibração de hidrómetros. Durante o desenvolvimento do trabalho, surgiram objetivos paralelos ao projeto inicial, nomeadamente, a validação da folha de cálculo utilizada no IPQ para calibração de hidrómetros, assim como um estudo referente á validação da medição manual da divisão de escala dos hidrómetros. O referido sistema de automatização encontra-se implementado e plenamente integrado nas atividades correntes do laboratório.

Automatização do sistema de alinhamento utilizado na calibração de hidrómetros pelo método de Cuckow

A evolução científica e tecnológica que se fez sentir nas últimas décadas criou novos desafios relacionados com uma crescente complexidade dos processos de calibração, bem como a exigência e o rigor dos métodos utilizados. A presente dissertação foi realizada no âmbito de um estágio curricular no Laboratório de Propriedades dos Líquidos do Departamento de Metrologia do Instituto Português da Qualidade(IPQ). A temática do estudo resulta da procura continuada, por parte desta entidade, pelo aperfeiçoamento das metodologias de calibração. Devido à ampla utilização, em diferentes áreas da indústria e serviços, de hidrómetros, a calibração destes tornou-se uma atividade de relevo no Departamento de Metrologia do IPQ. O foco da presente dissertação prendeu-se com a melhoria do processo de calibração de hidrómetros, segundo o método de Cuckow, mais especificamente, com a necessidade de diminuir a componente da incerteza proveniente do operador no alinhamento do traço da escala a calibrar com a superfície do líquido de referência no método de calibração de hidrómetros por pesagem hidrostática. Com este objetivo, foi desenvolvido e validado um automatismo, constituído por uma câmara, um servomotor e um software de controlo. O objetivo principal do trabalho foi alcançado com a implementação do automatismo, permitindo uma redução, na ordem de duas a quatro vezes, da incerteza final do método de calibração de hidrómetros. Durante o desenvolvimento do trabalho, surgiram objetivos paralelos ao projeto inicial, nomeadamente, a validação da folha de cálculo utilizada no IPQ para calibração de hidrómetros, assim como um estudo referente á validação da medição manual da divisão de escala dos hidrómetros. O referido sistema de automatização encontra-se implementado e plenamente integrado nas atividades correntes do laboratório.

Sistema distribuït d'indexació de fitxers

S'ha creat un programari de cerca de fitxers tan potent i fàcil d'utilitzar com els actuals, però que a més integra continguts de tota una xarxa local i amb possibilitat d’exploració des de qualsevol navegador, independentment del sistema operatiu utilitzat. L'aplicació s'ha desenvolupat fent ús de la tecnologia AJAX, molt utilitzada a la web 2.0 i amb un futur immediat prometedor.

Sistema de transmissió encriptat J2EE : Crypto magatzem

El projecte consisteix en una aplicació web que actua com un magatzem central d'arxius, on els usuaris es poden connectar via https des de qualsevol localització, independentment del grau de seguretat que implementi la seva estació, i enviar arxius encriptats o sense encriptar amb les garanties màximes de seguretat i confidencialitat. Els fitxers restarien emmagatzemats a un BBDD on posteriorment, només usuaris acreditats amb una clau AES d'ecriptació/desencriptació els podrien recuperar, també via HTTPS, i procedir a desencriptar-los a nivell local.

Cifrado de ficheros mediante DES-CBC

En aquest projecte i davant de l'actual explosió en els serveis de transmissió electrònica d'informació, es pretén fer una anàlisi del sistema de xifrat DES (Data Encryption Standard), des del punt de vista instructiu perquè pugui ser utilitzat en el futur com a element d'ensenyament per facilitar la compressió del seu funcionament.

Disseny i implementació en Java d'un sistema segur de descàrrega anònima de fitxers format per aplicacions web basades en XML i amb autenticació del client per part d'un tercer mitjançant una PKI

En aquest TFC s'ha proposat dissenyar i implementar en llenguatge Java un sistema segur de descàrrega anònima de fitxers. Per fer aquesta tasca es proposa un conjunt d'aplicacions web que es s'intercanviaran dades en format XML de forma segura, sempre sota protocol HTTPS i mantenint la integritat, autenticitat i autenticació de les parts amb l'ajut d'un PKI.

El Sistema de tratamiento de la información en EUROPOL

En la lucha contra el crimen organizado transnacional, uno de los actores principales lo constituye la Oficina de Policía Europea (EUROPOL), en tanto que es la Agencia de Seguridad de la Unión Europea y gestiona la información policial relacionada con la forma más grave de delincuencia transnacional. La Agencia colabora estrechamente con los Estados miembros, facilitando el intercambio de información y lleva a cabo Análisis Operativos y Análisis Estratégicos. Por lo tanto el análisis de la información, o el análisis de inteligencia, es crucial para todas las operaciones efectuadas por EUROPOL La Agencia está dotada de un Sistema de Tratamiento de la Información, siendo la base electrónica en donde están almacenados, tratados y analizados los datos enviados por los Estados miembros o aportados por los funcionarios de EUROPOL. Este Sistema está constituido por un Sistema de Información de EUROPOL, por los Ficheros de Análisis de EUROPOL, así como por un Sistema de Índice, cada uno teniendo sus funciones específicas previstas en la Decisión EUROPOL

Uso de sistema GPR (Ground Penetring Radar) na avaliação de atributos de um solo sob plantio de cana-de-açúcar

O GPR utiliza técnica indireta para investigação das estruturas de subsuperfície, sendo caracterizado como método não-invasivo, o qual permite extrair informações ao longo do perfil de solo sem perfurar, sondar ou escavar. Este trabalho teve o objetivo de avaliar a utilização do GPR no estabelecimento de atributos físicos do solo em área de cultivo com cana-de-açúcar, além de estabelecer sua correlação com o método do cilindro volumétrico. A área de estudo está localizada no município de Bom Sucesso - PR, sendo utilizada com cultura da cana há mais de 20 anos. Foram obtidas amostras de solos indeformadas com cilindro volumétrico nas profundidades de 0-0,1, 0,1-0,2, 0,2-0,3, 0,3-0,4 e 0,4-0,5 m, ao longo de três transeptos paralelos, sendo o central referente à linha de plantio (transepto 2) e os outros dois correspondentes às entrelinhas laterais (transeptos 1 e 3). Os valores de densidade e porosidade total, obtidos por meio das amostras físicas, foram inicialmente interpretados para verificar o estado do solo nas linhas e nas entrelinhas de cana, nas cinco profundidades. Posteriormente, foram correlacionados com os valores das constantes dielétricas (K) adquiridos pelo georradar, porém apenas para a camada de 0,4-0,5 m, uma vez que as camadas superficiais até a profundidade de 0,4 m não puderam ser avaliadas devido às limitações técnicas do equipamento, aliadas às condições físicas e químicas do solo, que acabaram por prejudicar as reflexões. A densidade mostrou-se menor nas linhas, quando comparada às entrelinhas, para as camadas de 0-0,1 e 0,2-0,3 m. A porosidade total foi menor nas entrelinhas do que nas linhas na camada de 0-0,1 m. Os valores de K foram maiores nas linhas, onde a umidade e a porosidade total foram maiores, e menores nas entrelinhas, onde as densidades encontravam se próximas ao limite crítico. A correlação de K com a densidade e porosidade total não foi significativa. Pequenas modificações na porosidade do solo em função do aumento da densidade foram suficientes para diminuir o valor de K nas entrelinhas, devido à redução na quantidade de água nos poros. Esse fato pode ser confirmado pela correlação de K com a umidade. Assim, pode-se dizer que o georradar foi extremamente sensível à variação de umidade no solo, apresentando melhores resultados para esta variável do que para a densidade e porosidade total determinada por meio do cilindro volumétrico.

Integración de solución de almacenamiento, sincronización, compartición de ficheros y acceso a aplicaciones web en la nube en el entorno empresarial

El presente documento refleja el análisis, diseño, implantación y final integración de un sistema de trabajo colaborativo por parte de una empresa de servicios informáticos que llamaremos ConsultCorp, S.A. en los sistemas e infraestructura de otra empresa, que denominaremos ClientCorp, S.A.