Mynodbcsv: Lightweight Zero-Config Database Solution for Handling Very Large CSV Files.

Volumes of data used in science and industry are growing rapidly. When researchers face the challenge of analyzing them, their format is often the first obstacle. Lack of standardized ways of exploring different data layouts requires an effort each time to solve the problem from scratch. Possibility to access data in a rich, uniform manner, e.g. using Structured Query Language (SQL) would offer expressiveness and user-friendliness. Comma-separated values (CSV) are one of the most common data storage formats. Despite its simplicity, with growing file size handling it becomes non-trivial. Importing CSVs into existing databases is time-consuming and troublesome, or even impossible if its horizontal dimension reaches thousands of columns. Most databases are optimized for handling large number of rows rather than columns, therefore, performance for datasets with non-typical layouts is often unacceptable. Other challenges include schema creation, updates and repeated data imports. To address the above-mentioned problems, I present a system for accessing very large CSV-based datasets by means of SQL. It's characterized by: "no copy" approach - data stay mostly in the CSV files; "zero configuration" - no need to specify database schema; written in C++, with boost [1], SQLite [2] and Qt [3], doesn't require installation and has very small size; query rewriting, dynamic creation of indices for appropriate columns and static data retrieval directly from CSV files ensure efficient plan execution; effortless support for millions of columns; due to per-value typing, using mixed text/numbers data is easy; very simple network protocol provides efficient interface for MATLAB and reduces implementation time for other languages. The software is available as freeware along with educational videos on its website [4]. It doesn't need any prerequisites to run, as all of the libraries are included in the distribution package. I test it against existing database solutions using a battery of benchmarks and discuss the results.

Diary 48 August 1898-February 1899 (CSV)

A journal of commercial voyages and domestic life on the Tigris River from August 1898 to February 1899. jms_048_08_1898_160_csv.csv

Diary 49 February 1899-October 1899 (CSV)

A journal of commercial voyages and domestic life on the Tigris River from February 1899 to October 1899. jms_049_02_1899_160_csv.csv

Diary 47 November 1897-August 1898 (CSV)

A journal of commercial voyages and domestic life on the Tigris River from November 1897 to August 1898. jms_047_11_1897_160_csv.csv

Antiretroviral Drug Resistance in a Respondent-Driven Sample of HIV-Infected Men Who Have Sex With Men in Brazil

Background: There are few studies on HIV subtypes and primary and secondary antiretroviral drug resistance (ADR) in community-recruited samples in Brazil. We analyzed HIV clade diversity and prevalence of mutations associated with ADR in men who have sex with men in all five regions of Brazil. Methods: Using respondent-driven sampling, we recruited 3515 men who have sex with men in nine cities: 299 (9.5%) were HIV-positive; 143 subjects had adequate genotyping and epidemiologic data. Forty-four (30.8%) subjects were antiretroviral therapy-experienced (AE) and 99 (69.2%) antiretroviral therapy-naive (AN). We sequenced the reverse transcriptase and protease regions of the virus and analyzed them for drug resistant mutations using World Health Organization guidelines. Results: The most common subtypes were B (81.8%), C (7.7%), and recombinant forms (6.9%). The overall prevalence of primary ADR resistance was 21.4% (i.e. among the AN) and secondary ADR was 35.8% (i.e. among the AE). The prevalence of resistance to protease inhibitors was 3.9% (AN) and 4.4% (AE); to nucleoside reverse transcriptase inhibitors 15.0% (AN) and 31.0% (AE) and to nonnucleoside reverse transcriptase inhibitors 5.5% (AN) and 13.2% (AE). The most common resistance mutation for nucleoside reverse transcriptase inhibitors was 184V (17 cases) and for nonnucleoside reverse transcriptase inhibitors 103N (16 cases). Conclusions: Our data suggest a high level of both primary and secondary ADR in men who have sex with men in Brazil. Additional studies are needed to identify the correlates and causes of antiretroviral therapy resistance to limit the development of resistance among those in care and the transmission of resistant strains in the wider epidemic.

Creating shared value – a nova abordagem estratégica de Responsabilidade social empresarial

Dissertação de Mestrado apresentada ao Instituto Supeior de Contabilidade e Administração do Porto para a obtenção do grau de Mestre em Marketing Digital, sob a orientação da Doutora Sandrina Francisca Teixeira

Descoberta de conhecimento em Logs de tentativas de intrusão. Um estudo de caso em Instituições de Ensino Superior

Perante a evolução constante da Internet, a sua utilização é quase obrigatória. Através da web, é possível conferir extractos bancários, fazer compras em países longínquos, pagar serviços sem sair de casa, entre muitos outros. Há inúmeras alternativas de utilização desta rede. Ao se tornar tão útil e próxima das pessoas, estas começaram também a ganhar mais conhecimentos informáticos. Na Internet, estão também publicados vários guias para intrusão ilícita em sistemas, assim como manuais para outras práticas criminosas. Este tipo de informação, aliado à crescente capacidade informática do utilizador, teve como resultado uma alteração nos paradigmas de segurança informática actual. Actualmente, em segurança informática a preocupação com o hardware é menor, sendo o principal objectivo a salvaguarda dos dados e continuidade dos serviços. Isto deve-se fundamentalmente à dependência das organizações nos seus dados digitais e, cada vez mais, dos serviços que disponibilizam online. Dada a mudança dos perigos e do que se pretende proteger, também os mecanismos de segurança devem ser alterados. Torna-se necessário conhecer o atacante, podendo prever o que o motiva e o que pretende atacar. Neste contexto, propôs-se a implementação de sistemas de registo de tentativas de acesso ilícitas em cinco instituições de ensino superior e posterior análise da informação recolhida com auxílio de técnicas de data mining (mineração de dados). Esta solução é pouco utilizada com este intuito em investigação, pelo que foi necessário procurar analogias com outras áreas de aplicação para recolher documentação relevante para a sua implementação. A solução resultante revelou-se eficaz, tendo levado ao desenvolvimento de uma aplicação de fusão de logs das aplicações Honeyd e Snort (responsável também pelo seu tratamento, preparação e disponibilização num ficheiro Comma Separated Values (CSV), acrescentando conhecimento sobre o que se pode obter estatisticamente e revelando características úteis e previamente desconhecidas dos atacantes. Este conhecimento pode ser utilizado por um administrador de sistemas para melhorar o desempenho dos seus mecanismos de segurança, tais como firewalls e Intrusion Detection Systems (IDS).

A influência do computador na integridade da visão binocular

Computer Vision Syndrome (CSV): 1) Conjunto de complicações desencadeadas com o acto de fixação para perto, que são experimentadas durante ou após o uso do computador; 2) Distúrbio caracterizado pelo esforço repetitivo de perto traduzindo-se em sintomas oculares e não oculares. Pertinência do estudo: os trabalhadores de telecomunicações desempenham actividades prolongadas de fixação para perto, o que pode originar queixas de fadiga visual devido ao stress exercido sob a convergência acomodativa. Objectivos do estudo: 1) Identificar quais os parâmetros da visão binocular que são mais influenciados pelo uso prolongado do computador; 2) Comparar a visão binocular em dois grupos de indivíduos com e sem sintomatologia ocular.

RemoteLabs Platform

This paper reports on a first step towards the implementation of a framework for remote experimentation of electric machines ? the RemoteLabs platform. This project was focused on the development of two main modules: the user Web-based and the electric machines interfaces. The Web application provides the user with a front-end and interacts with the back-end ? the user and experiment persistent data. The electric machines interface is implemented as a distributed client server application where the clients, launched by the Web application, interact with the server modules located in platforms physically connected the electric machines drives. Users can register and authenticate, schedule, specify and run experiments and obtain results in the form of CSV, XML and PDF files. These functionalities were successfully tested with real data, but still without including the electric machines. This inclusion is part of another project scheduled to start soon.

Building a person home behavior model based on data from smart house sensors 2015

Dissertação para a obtenção do grau de Mestre em Engenharia Electrotécnica Ramo de Energia

Patologia e parâmetros oculares em doentes com infeção pelo VIH - Avaliação antes e após Terapêutica Antirretrovirica combinada

INTRODUÇÃO: As complicações oculares do VIH/SIDA são comuns e podem afetar qualquer tecido do olho. Na era da terapêutica antirretroviral combinada (TARc), houve uma redução drástica nas infeções oportunistas oculares. O impacto da terapêutica em outras alterações na visão de doentes VIH+ sem retinopatia infecciosa, como alterações na sensibilidade ao contraste (SC), visão cromática (VC) e nos campos visuais, sinal de uma disfunção microvascular retiniana, não está totalmente esclarecido. OBJETIVOS: Determinar os efeitos da TARc em parâmetros e patologia oculares de doentes VIH+ que vão iniciar ou reiniciar TARc MÉTODOS: Foi realizado um estudo observacional, longitudinal, transversal e prospetivo com a inclusão de 31 doentes VIH+ sem infeções oculares oportunistas, que iam iniciar ou reiniciar TARc. Após serem recolhidos alguns dados da história clínica, foi feita uma avaliação oftalmológica completa que incluiu: biomicroscopia do segmento anterior, acuidade visual com a escala de ETDRS, pressão intra-ocular com a tonometria de aplanação de Goldmann, SC com o CSV-1000E, VC com o Farnsworth- Munsell 100 e perimetria com o programa 24-2 do Octopus® 900. Após midríase farmacológica foram realizadas fotografias do segmento posterior, avaliação da espessura da camada de fibras nervosas (CFN) e macular com o OCT Stratus™ e avaliação da densidade do cristalino e do ângulo irido-corneano pelo Pentacam®. Cerca de 9 meses após o início da TARc, foi realizada uma segunda observação oftalmológica usando os mesmos métodos. Procuraram-se associações estatísticas entre vários parâmetros da infeção pelo VIH e a avaliação oftalmológica. RESULTADOS: Na primeira observação, encontraram-se 15 olhos (24%) com complicações anteriores do VIH, 10 olhos (16%) com retinopatia do VIH, 15 (24%) com alterações vasculares retinianas e 6 (10%) com defeitos na CFN; nenhuma destas alterações estava relacionada com o nível de linfócitos CD4+ ou carga viral. A SC, VC e perimetria estavam alteradas em 45%, 68% e 76% dos olhos, respetivamente. Encontrou-se uma correlação positiva entre valores mais elevados de linfócitos T CD4+ e melhor SC, sobretudo nos 6 e 12 ciclos por grau e no valor soma da SC (p<0,01). A avaliação pelo OCT revelou que os doentes com CFN fina tinham tendencialmente infeção mais antiga, níveis mais baixos de linfócitos CD4+ (p<0,05) e pior SC (p<0,05). Foi possível realizar segunda observação em 16 doentes (52%). Após 9 meses de TARc as alterações encontradas na primeira avaliação mantiveram-se, com exceção da retinopatia do VIH que regrediu. As alterações na SC, VC, perimetria e na espessura da CFN mantiveram-se; a densidade do cristalino não se alterou com a reconstituição imunitária após TARc. CONCLUSÕES: Foram detetadas alterações na avaliação oftalmológica de doentes VIH+ sem retinopatia infecciosa e que parecem estar relacionadas com a existência de microvasculopatia e disfunção neurorretiniana associada. A reconstituição imunitária com a TARc não parece levar a uma melhoria desta disfunção apesar da recuperação da imunidade para valores normais.

Construcción y explotación de un almacén de datos de información cinematográfica

Este proyecto tiene como finalidad el diseño, el desarrollo y la puesta en marcha de un almacén de datos destinado, tanto al almacenamiento de la información que nuestro cliente la Academia de Cine Andorrana dispone de los diferentes premios de los Festivales cinematográficos más importantes, como al análisis y la explotación de los datos. El proyecto parte del conjunto de documentos en formato Microsoft Excel que la Academia de Cine Andorrana utiliza como repositorio de información cinematográfica, los cuales tras un proceso de análisis y diseño darán lugar a modelo conceptual, lógico y físico de un cubo multidimensional de procesamiento Analítico Relacional o ROLAP en esquema de copo de nieve. Así mismo, el proyecto incluye el diseño y desarrollo de los procesos necesarios de extracción, transformación y carga (ETL) de las fuentes operacionales de información, previamente exportadas a formato CSV, sobre la base de datos multidimensional. Por último, el proyecto contempla la construcción de un área de negocio que sirve como base y entorno de trabajo para el desarrollo de los informes de extracción y explotación de los datos requeridos por la Academia de Cine Andorrana.

Plataforma e-commerce Magento, millora de la importació massiva de productes

Aquest projecte tracta de la millora de l’actual sistema d’importació que disposa Magento. Actualment per importar els productes a una botiga Magento es necessita treballar amb un fitxer csv on s’introdueix una gran quantitat de dades i requereix una gran quantitat de temps i esforç per part de l’empresa. Per millorar l’actual sistema, es proposa crear una integració entre Magento i Google Docs, fent que tots els productes que es vulguin importar s’introdueixin en un full de càlcul Google Docs i s’importin a la botiga Magento.

B-1 Monthly Report of Medical Services Provided under Title XIX of the Social Security Act, April 2008

B-1 Medicaid Reports The monthly Medicaid series of eight reports provide summaries of Medicaid eligibles, recipients served, and total payments by county, category of service, and aid category. These reports may also be known as the B-1 Reports. These reports are each available as a PDF for printing or as a CSV file for data analysis. Report name Report number Medically Needy by County - No Spenddown and With Spenddown IAMM1800-R001 Total Medically Needy, All Other Medicaid, and Grand Total by County IAMM1800-R002 Monthly Expenditures by Category of Service IAMM2200-R002 Fiscal YTD Expenditures by Category of Service IAMM2200-R003 ICF & ICF-MR Vendor Payments by County IAMM3800-R001 Monthly Expenditures by Eligibility Program IAMM4400-R001 Monthly Expenditures by Category of Service by Program IAMM4400-R002 Elderly Waiver Summary by County IAMM4600-R002

B-1 Monthly Report of Medical Services Provided under Title XIX of the Social Security Act, March 2008

B-1 Medicaid Reports The monthly Medicaid series of eight reports provide summaries of Medicaid eligibles, recipients served, and total payments by county, category of service, and aid category. These reports may also be known as the B-1 Reports. These reports are each available as a PDF for printing or as a CSV file for data analysis. Report Report name IAMM1800-R001 Medically Needy by County - No Spenddown and With Spenddown IAMM1800-R002 Total Medically Needy, All Other Medicaid, and Grand Total by County IAMM2200-R002 Monthly Expenditures by Category of Service IAMM2200-R003 Fiscal YTD Expenditures by Category of Service IAMM3800-R001 ICF & ICF-MR Vendor Payments by County IAMM4400-R001 Monthly Expenditures by Eligibility Program IAMM4400-R002 Monthly Expenditures by Category of Service by Program IAMM4600-R002 Elderly Waiver Summary by County