Ferramentas open source de Data Mining

Em época de crise financeira, as ferramentas open source de data mining representam uma nova tendência na investigação, educação e nas aplicações industriais, especialmente para as pequenas e médias empresas. Com o software open source, estas podem facilmente iniciar um projeto de data mining usando as tecnologias mais recentes, sem se preocuparem com os custos de aquisição das mesmas, podendo apostar na aprendizagem dos seus colaboradores. Os sistemas open source proporcionam o acesso ao código, facilitando aos colaboradores a compreensão dos sistemas e algoritmos e permitindo que estes o adaptem às necessidades dos seus projetos. No entanto, existem algumas questões inerentes ao uso deste tipo de ferramenta. Uma das mais importantes é a diversidade, e descobrir, tardiamente, que a ferramenta escolhida é inapropriada para os objetivos do nosso negócio pode ser um problema grave. Como o número de ferramentas de data mining continua a crescer, a escolha sobre aquela que é realmente mais apropriada ao nosso negócio torna-se cada vez mais difícil. O presente estudo aborda um conjunto de ferramentas de data mining, de acordo com as suas características e funcionalidades. As ferramentas abordadas provém da listagem do KDnuggets referente a Software Suites de Data Mining. Posteriormente, são identificadas as que reúnem melhores condições de trabalho, que por sua vez são as mais populares nas comunidades, e é feito um teste prático com datasets reais. Os testes pretendem identificar como reagem as ferramentas a cenários diferentes do tipo: performance no processamento de grandes volumes de dados; precisão de resultados; etc. Nos tempos que correm, as ferramentas de data mining open source representam uma oportunidade para os seus utilizadores, principalmente para as pequenas e médias empresas, deste modo, os resultados deste estudo pretendem ajudar no processo de tomada de decisão relativamente às mesmas.

An Open Source BI Approach: Concept Proof Tracking Fleet

É possível assistir nos dias de hoje, a um processo tecnológico evolutivo acentuado por toda a parte do globo. No caso das empresas, quer as pequenas, médias ou de grandes dimensões, estão cada vez mais dependentes dos sistemas informatizados para realizar os seus processos de negócio, e consequentemente à geração de informação referente aos negócios e onde, muitas das vezes, os dados não têm qualquer relacionamento entre si. A maioria dos sistemas convencionais informáticos não são projetados para gerir e armazenar informações estratégicas, impossibilitando assim que esta sirva de apoio como recurso estratégico. Portanto, as decisões são tomadas com base na experiência dos administradores, quando poderiam serem baseadas em factos históricos armazenados pelos diversos sistemas. Genericamente, as organizações possuem muitos dados, mas na maioria dos casos extraem pouca informação, o que é um problema em termos de mercados competitivos. Como as organizações procuram evoluir e superar a concorrência nas tomadas de decisão, surge neste contexto o termo Business Intelligence(BI). A GisGeo Information Systems é uma empresa que desenvolve software baseado em SIG (sistemas de informação geográfica) recorrendo a uma filosofia de ferramentas open-source. O seu principal produto baseia-se na localização geográfica dos vários tipos de viaturas, na recolha de dados, e consequentemente a sua análise (quilómetros percorridos, duração de uma viagem entre dois pontos definidos, consumo de combustível, etc.). Neste âmbito surge o tema deste projeto que tem objetivo de dar uma perspetiva diferente aos dados existentes, cruzando os conceitos BI com o sistema implementado na empresa de acordo com a sua filosofia. Neste projeto são abordados alguns dos conceitos mais importantes adjacentes a BI como, por exemplo, modelo dimensional, data Warehouse, o processo ETL e OLAP, seguindo a metodologia de Ralph Kimball. São também estudadas algumas das principais ferramentas open-source existentes no mercado, assim como quais as suas vantagens/desvantagens relativamente entre elas. Em conclusão, é então apresentada a solução desenvolvida de acordo com os critérios enumerados pela empresa como prova de conceito da aplicabilidade da área Business Intelligence ao ramo de Sistemas de informação Geográfica (SIG), recorrendo a uma ferramenta open-source que suporte visualização dos dados através de dashboards.

The connectome mapper: an open-source processing pipeline to map connectomes with MRI.

Researchers working in the field of global connectivity analysis using diffusion magnetic resonance imaging (MRI) can count on a wide selection of software packages for processing their data, with methods ranging from the reconstruction of the local intra-voxel axonal structure to the estimation of the trajectories of the underlying fibre tracts. However, each package is generally task-specific and uses its own conventions and file formats. In this article we present the Connectome Mapper, a software pipeline aimed at helping researchers through the tedious process of organising, processing and analysing diffusion MRI data to perform global brain connectivity analyses. Our pipeline is written in Python and is freely available as open-source at www.cmtk.org.

An Open Source, DDI-based Curation System for Social Science Data

Poster at Open Repositories 2014, Helsinki, Finland, June 9-13, 2014

A comparison of open-source segmentation architectures for dealing with imperfect data from the media in speech synthesis

Traditional Text-To-Speech (TTS) systems have been developed using especially-designed non-expressive scripted recordings. In order to develop a new generation of expressive TTS systems in the Simple4All project, real recordings from the media should be used for training new voices with a whole new range of speaking styles. However, for processing this more spontaneous material, the new systems must be able to deal with imperfect data (multi-speaker recordings, background and foreground music and noise), filtering out low-quality audio segments and creating mono-speaker clusters. In this paper we compare several architectures for combining speaker diarization and music and noise detection which improve the precision and overall quality of the segmentation.

The connectome viewer toolkit: an open source framework to manage, analyze, and visualize connectomes.

Advanced neuroinformatics tools are required for methods of connectome mapping, analysis, and visualization. The inherent multi-modality of connectome datasets poses new challenges for data organization, integration, and sharing. We have designed and implemented the Connectome Viewer Toolkit - a set of free and extensible open source neuroimaging tools written in Python. The key components of the toolkit are as follows: (1) The Connectome File Format is an XML-based container format to standardize multi-modal data integration and structured metadata annotation. (2) The Connectome File Format Library enables management and sharing of connectome files. (3) The Connectome Viewer is an integrated research and development environment for visualization and analysis of multi-modal connectome data. The Connectome Viewer's plugin architecture supports extensions with network analysis packages and an interactive scripting shell, to enable easy development and community contributions. Integration with tools from the scientific Python community allows the leveraging of numerous existing libraries for powerful connectome data mining, exploration, and comparison. We demonstrate the applicability of the Connectome Viewer Toolkit using Diffusion MRI datasets processed by the Connectome Mapper. The Connectome Viewer Toolkit is available from http://www.cmtk.org/

Sharing Open Source License and Copyright Data with SPDX

Organizations across the globe are creating and distributing products that include open source software. To ensure compliance with the open source licenses, each company needs to evaluate exactly what open source licenses and copyrights are included - resulting in duplicated effort and redundancy. This talk will provide an overview of a new Software Package Data Exchange (SPDX) specification. This specification will provide a common format to share information about the open source licenses and copyrights that are included in any software package, with the goal of saving time and improving data accuracy. This talk will review the progress of the initiative; discuss the benefits to organizations using open source and share information on how you can contribute.

CRS seismic data imaging system: a case study for basib reevaluation

Este trabalho apresenta resultados práticos de uma atenção sistemática dada ao processamento e à interpretação sísmica de algumas linhas terrestres do conjunto de dados do gráben do Tacutu (Brasil), sobre os quais foram aplicadas etapas fundamentais do sistema WIT de imageamento do empilhamento CRS (Superfície de Reflexão Comum) vinculado a dados. Como resultado, esperamos estabelecer um fluxograma para a reavaliação sísmica de bacias sedimentares. Fundamentado nos atributos de frente de onda resultantes do empilhamento CRS, um macro-modelo suave de velocidades foi obtido através de inversão tomográfica. Usando este macro-modelo, foi realizado uma migração à profundidade pré- e pós-empilhamento. Além disso, outras técnicas baseadas no empilhamento CRS foram realizadas em paralelo como correção estática residual e migração de abertura-limitada baseada na zona de Fresnel projetada. Uma interpretação geológica sobre as seções empilhadas e migradas foi esboçada. A partir dos detalhes visuais dos painéis é possível interpretar desconformidades, afinamentos, um anticlinal principal falhado com conjuntos de horstes e grábens. Também, uma parte da linha selecionada precisa de processamento mais detalhado para evidenciar melhor qualquer estrutura presente na subsuperfície.

Entropy effect in quantum computing and information: an open-source environment simulation

The technologies are rapidly developing, but some of them present in the computers, as for instance their processing capacity, are reaching their physical limits. It is up to quantum computation offer solutions to these limitations and issues that may arise. In the field of information security, encryption is of paramount importance, being then the development of quantum methods instead of the classics, given the computational power offered by quantum computing. In the quantum world, the physical states are interrelated, thus occurring phenomenon called entanglement. This study presents both a theoretical essay on the merits of quantum mechanics, computing, information, cryptography and quantum entropy, and some simulations, implementing in C language the effects of entropy of entanglement of photons in a data transmission, using Von Neumann entropy and Tsallis entropy.

Analisi delle prestazioni di un codice di calcolo open-source per l'elaborazione dati GNSS in modalità cinematica finalizzata al monitoraggio di strutture e applicazione di filtri sequenziali

Il presente lavoro di tesi si pone come obbiettivo l’elaborazione di dati GNSS in modalità cinematica post-processing per il monitoraggio strutturale e, in una seconda fase, lo studio delle precisioni raggiungibili delle soluzioni ottenute utilizzando algoritmi di post-elaborazione del dato. L’oggetto di studio è la torre Garisenda, situata in piazza Ravegnana, accanto alla torre Asinelli, nel centro storico di Bologna, da tempo oggetto di studi e monitoraggi per via della sua inclinazione particolarmente critica. Per lo studio è stato utilizzato un data set di quindici giorni, dal 15/12/2013 al 29/12/2013 compresi. Per l’elaborazione dei dati è stato utilizzato un software open source realizzato da ricercatori del Politecnico di Milano, goGPS. Quest'ultimo, essendo un codice nuovo, è stato necessario testarlo al fine di poter ottenere dei risultati validi. Nella prima fase della tesi si è quindi affrontato l’aspetto della calibrazione dei parametri che forniscono le soluzioni più precise per le finalità di monitoraggio considerando le possibili scelte offerte dal codice goGPS. In particolare sono stati imposti dei movimenti calibrati e si è osservata la soluzione al variare dei parametri selezionati scegliendo poi quella migliore, ossia il miglior compromesso tra la capacità di individuare i movimenti e il rumore della serie. Nella seconda fase, allo scopo di poter migliorare le precisioni delle soluzioni si sono valutati metodi di correzione delle soluzioni basati sull'uso di filtri sequenziali e sono state condotte analisi sull'incremento di precisione derivante dall'applicazione di tali correzioni.

Seismic data from Colle Gnifetti glacie saddle around borehole KCI, Swiss Alps

Two seismic surveys were carried out on the high-altitude glacier saddle, Colle Gnifetti, Monte Rosa, Italy/Switzerland. Explosive and vibroseismic sources were tested to explore the best way to generate seismic waves to deduce shallow and intermediate properties (<100 m) of firn and ice. The explosive source (SISSY) excites strong surface and diving waves, degrading data quality for processing; no englacial reflections besides the noisy bed reflector are visible. However, the strong diving waves are analyzed to derive the density distribution of the firn pack, yielding results similar to a nearby ice core. The vibrator source (ElViS), used in both P- and SH-wave modes, produces detectable laterally coherent reflections within the firn and ice column. We compare these with ice-core and radar data. The SH-wave data are particularly useful in providing detailed, high-resolution information on firn and ice stratigraphy. Our analyses demonstrate the potential of seismic methods to determine physical properties of firn and ice, particularly density and potentially also crystal-orientation fabric.

Seismic Data from MSM21/4 to Knipovich Ridge on the western Svalbard margin

The seismic data were acquired north of the Knipovich Ridge on the western Svalbard margin during cruise MSM21/4. They were recorded using a Geometrics GeoEel streamer of either 120 channels (profiles p100-p208) or 88 channels (profiles p300-p805) with a group spacing of 1.56 m and a sampling rate of 2 kHz. A GI-Gun (2×1.7 l) with a main frequency of ~150 Hz was used as a source and operated at a shot interval of 6-8 s. Processing of profiles p100-p208 and p600-p805: Positions for each channel were calculated by backtracking along the profiles from the GI-Gun GPS positions. The shot gathers were analyzed for abnormal amplitudes below the seafloor reflection by comparing neighboring traces in different frequency bands within sliding time windows. To suppress surface-generated water noise, a tau-p filter was applied in the shot gather domain. Common mid-point (CMP) profiles were then generated through crooked-line binning with a CMP spacing of 1.5625 m. A zero-phase band-pass filter with corner frequencies of 60 Hz and 360 Hz was applied to the data. Based on regional velocity information from MCS data [Sarkar, 2012], an interpolated and extrapolated 3D interval velocity model was created below the digitized seafloor reflection of the high-resolution streamer data. This velocity model was used to apply a CMP stack and an amplitude-preserving Kirchhoff post-stack time migration. Processing of profiles p400-p500: Data were sampled at 0.5 ms and sorted into common midpoint (CMP) domain with a bin spacing of 5 m. Normal move out correction was carried out with a velocity of 1500 m s-1 and an Ormsby bandpass filter with corner frequencies at 40, 80, 600 and 1000 Hz was applied. The data were time migrated using the water velocity.