Texting and Driving: rilevazione di utilizzo dello smartphone alla guida tramite Object Detection e Machine Learning

Questa tesi si ispira a lavori precedentemente portati avanti da altri studenti e si pone il problema della possibilit\`a di riconoscere se uno smartphone \`e utilizzato da un utente mentre esso si trova alla guida di un'autovettura. In essa verranno presentati vari metodi per risolvere questo problema di Machine Learning, ovvero realizzazione di dataset per l'allenamento di modelli e creazione e allenamento di modelli stessi, dediti al riconoscimento di un problema di classificazione binaria e riconoscimento di oggetti tramite Object Detection. Il cercare di riconoscere se l'utente \`e alla guida o meno, avverr\`a tramite l'output della fotocamera frontale dello smartphone, quindi lavoreremo su immagini, video e frame. Arriveremo a riconoscere la posizione della persona rappresentata da questi fotogrammi tramite un modello di Object Detection, che riconosce cintura e finestrino e determina se sono appartenenti al sedile e alla posizione del conducente o del passeggero. Vedremo alla fine, attraverso un'attenta analisi dei risultati ottenuti su ben 8 video diversi che saranno divisi in molti frame, che si ottengono risultati molto interessanti, dai quali si pu\`o prendere spunto per la creazione di un importante sistema di sicurezza alla guida.

Analisi e nuove applicazioni delle Real-time Silent Speech BCIs

Il fatto che il pensiero sia più rapido della comunicazione verbale o scritta è un concetto ormai consolidato. Ricerche recenti, però, si stanno occupando di sviluppare nuove tecnologie in grado di tradurre l’attività neurale in parole o testi in tempo reale. È proprio questo il campo delle Real-time Silent Speech Brain-Computer Interfaces, ovvero sistemi di comunicazione alternativi, basati sulla registrazione e sull’interpretazione di segnali neurali, generati durante il tentativo di parlare o di scrivere. Queste innovazioni tecnologiche costituiscono un traguardo fondamentale per la vita delle persone con paralisi o con patologie neurologiche che determinano l’inabilità a comunicare. L’obiettivo di questo elaborato è quello di descrivere due applicazioni innovative nell’ambito delle Real-time Silent Speech-BCIs. I metodi di BCI confrontati nel presente elaborato sintetizzano il parlato attraverso la rilevazione invasiva o parzialmente invasiva dell’attività cerebrale. L’utilizzo di metodi invasivi per la registrazione dell’attività cerebrale è giustificato dal fatto che le performance di acquisizione del segnale ottenute sono tali da controbilanciare i rischi associati all’operazione chirurgica necessaria per l’impianto. Le tecniche descritte sfruttano delle Reti Neurali Ricorrenti (RNNs), che si sono dimostrate le più efficaci nel prevedere dati sequenziali. Gli studi presentati in questa tesi costituiscono un passaggio fondamentale nel progresso tecnologico per il ripristino della comunicazione in tempo reale e sono i primi a riportare prestazioni di sintesi paragonabili a quelle del linguaggio naturale.

Valutazione sperimentale di approcci di TinyML per problemi di classificazione: un caso di studio con Arduino Nano 33 BLE

Il TinyMachineLearning (TinyML) è un campo di ricerca nato recentemente che si inserisce nel contesto dell’Internet delle cose (IoT). Mentre l’idea tradizionale dell’IoT era che i dati venissero inviati da un dispositivo locale a delle infrastrutture cloud per l’elaborazione, il paradigma TinyML d’altra parte, propone di integrare meccanismi basati sul Machine Learning direttamente all’interno di piccoli oggetti alimentati da microcontrollori (MCU ). Ciò apre la strada allo sviluppo di nuove applicazioni e servizi che non richiedono quindi l’onnipresente supporto di elaborazione dal cloud, che, come comporta nella maggior parte dei casi, consumi elevati di energia e rischi legati alla sicurezza dei dati e alla privacy. In questo lavoro sono stati svolti diversi esperimenti cercando di identificare le sfide e le opportunità correlate al TinyML. Nello specifico, vengono valutate e analizzate le prestazioni di alcuni algoritmi di ML integrati in una scheda Arduino Nano 33 BLE Sense, attraverso un framework TinyML. Queste valutazioni sono state effettuate conducendo cinque diversi macro esperimenti, ovvero riconoscimento di Colori, di Frequenze, di Vibrazioni, di Parole chiave e di Gesti. In ogni esperimento, oltre a valutare le metriche relative alla bontà dei classificatori, sono stati analizzati l’occupazione di memoria e il tasso di inferenza (tempo di predizione). I dati utilizzati per addestrare i classificatori sono stati raccolti direttamente con i sensori di Arduino Nano. I risultati mostrano che il TinyML può essere assolutamente utilizzato per discriminare correttamente tra diverse gamme di suoni, colori, modelli di vibrazioni, parole chiave e gesti aprendo la strada allo sviluppo di nuove promettenti applicazioni sostenibili.

Il segnale EEG in un compito di ’center-out reaching’: analisi e decodifica a livello di scalpo e di corteccia

Nellâ analisi del segnale EEG, sono di particolare interesse i potenziali evento correlato (ERP), che descrivono la risposta cerebrale in seguito alla presentazione di stimoli o eventi esterni o interni. Questi potenziali non sono immediatamente visibili sul tracciato EEG grezzo, ed è necessario, oltre ad unâ��accurata fase di preprocessing, mediare (averaging) i segnali di molti trial ripetuti per visualizzare tali risposte nel tempo. Questo studio ha posto l' attenzione sugli ERP visuomotori generati in un compito di center-out reaching, che prevede il raggiungimento di uno tra cinque target, ognuno associato ad un LED, mediante il braccio dominante, con una tempistica scandita dalla presentazione di due stimoli visivi: lo stimolo preparatorio ¸ (che indica il target) e lo stimolo imperativo (che dà il via libera al movimento). I segnali ERP, ottenuti mediante la tecnica dellâ averaging, sono stati analizzati sia a livello di scalpo, considerando i segnali di elettrodo, sia a livello di corteccia, dopo risoluzione del problema inverso, e considerando rappresentazioni prima a livello di singoli dipoli corticali e quindi di intere regioni corticali (ROI). Inoltre, è stata applicato un metodo di deep learning (rete neurale convoluzionale) per decodificare il segnale EEG a livello di singolo trial, ovvero classificare il target coinvolto nello specifico trial. La decodifica è stata applicata sia ai segnali di scalpo sia ai segnali delle ROI corticali. Complessivamente i risultati mostrano ERP ben visibili a livello di scalpo e legati sia a processing visivo che motorio. Gli ERP a livello di ROI corticali sono più rumorosi e sembrano cogliere meno processing motorio rispetto al visivo, presumibilmente anche in conseguenza di alcune scelte metodologiche nella ricostruzione di segnali di ROI. In linea con questo, le performance di decodifica sono migliori a livello di scalpo che di ROI corticali.

Learning techniques for automatic email message tagging

A organização automática de mensagens de correio electrónico é um desafio actual na área da aprendizagem automática. O número excessivo de mensagens afecta cada vez mais utilizadores, especialmente os que usam o correio electrónico como ferramenta de comunicação e trabalho. Esta tese aborda o problema da organização automática de mensagens de correio electrónico propondo uma solução que tem como objectivo a etiquetagem automática de mensagens. A etiquetagem automática é feita com recurso às pastas de correio electrónico anteriormente criadas pelos utilizadores, tratando-as como etiquetas, e à sugestão de múltiplas etiquetas para cada mensagem (top-N). São estudadas várias técnicas de aprendizagem e os vários campos que compõe uma mensagem de correio electrónico são analisados de forma a determinar a sua adequação como elementos de classificação. O foco deste trabalho recai sobre os campos textuais (o assunto e o corpo das mensagens), estudando-se diferentes formas de representação, selecção de características e algoritmos de classificação. É ainda efectuada a avaliação dos campos de participantes através de algoritmos de classificação que os representam usando o modelo vectorial ou como um grafo. Os vários campos são combinados para classificação utilizando a técnica de combinação de classificadores Votação por Maioria. Os testes são efectuados com um subconjunto de mensagens de correio electrónico da Enron e um conjunto de dados privados disponibilizados pelo Institute for Systems and Technologies of Information, Control and Communication (INSTICC). Estes conjuntos são analisados de forma a perceber as características dos dados. A avaliação do sistema é realizada através da percentagem de acerto dos classificadores. Os resultados obtidos apresentam melhorias significativas em comparação com os trabalhos relacionados.

From institutional repositories to personal collections of learning resources

Institutional digital repositories are a basic piece to provide preservation and reutilization of learning resources. However, their creation and maintenance is usually performed following a top-down approach, causing limitations in the search and reutilization of learning resources. In order to avoid this problem we propose to use web 2.0 functionalities. In this paper we present how tagging can be used to enhance the search and reusability functionalities of institutional learning repositories as well as promoting their usage. The paper also describes the evaluation process that was performed in a pilot experience involving open educational resources.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.

PDM 2006: Proceedings of the International Workshop on Data Mining

Recently major processor manufacturers have announced a dramatic shift in their paradigm to increase computing power over the coming years. Instead of focusing on faster clock speeds and more powerful single core CPUs, the trend clearly goes towards multi core systems. This will also result in a paradigm shift for the development of algorithms for computationally expensive tasks, such as data mining applications. Obviously, work on parallel algorithms is not new per se but concentrated efforts in the many application domains are still missing. Multi-core systems, but also clusters of workstations and even large-scale distributed computing infrastructures provide new opportunities and pose new challenges for the design of parallel and distributed algorithms. Since data mining and machine learning systems rely on high performance computing systems, research on the corresponding algorithms must be on the forefront of parallel algorithm research in order to keep pushing data mining and machine learning applications to be more powerful and, especially for the former, interactive. To bring together researchers and practitioners working in this exciting field, a workshop on parallel data mining was organized as part of PKDD/ECML 2006 (Berlin, Germany). The six contributions selected for the program describe various aspects of data mining and machine learning approaches featuring low to high degrees of parallelism: The first contribution focuses the classic problem of distributed association rule mining and focuses on communication efficiency to improve the state of the art. After this a parallelization technique for speeding up decision tree construction by means of thread-level parallelism for shared memory systems is presented. The next paper discusses the design of a parallel approach for dis- tributed memory systems of the frequent subgraphs mining problem. This approach is based on a hierarchical communication topology to solve issues related to multi-domain computational envi- ronments. The forth paper describes the combined use and the customization of software packages to facilitate a top down parallelism in the tuning of Support Vector Machines (SVM) and the next contribution presents an interesting idea concerning parallel training of Conditional Random Fields (CRFs) and motivates their use in labeling sequential data. The last contribution finally focuses on very efficient feature selection. It describes a parallel algorithm for feature selection from random subsets. Selecting the papers included in this volume would not have been possible without the help of an international Program Committee that has provided detailed reviews for each paper. We would like to also thank Matthew Otey who helped with publicity for the workshop.

PMCRI: a parallel modular classification rule induction framework

In a world where massive amounts of data are recorded on a large scale we need data mining technologies to gain knowledge from the data in a reasonable time. The Top Down Induction of Decision Trees (TDIDT) algorithm is a very widely used technology to predict the classification of newly recorded data. However alternative technologies have been derived that often produce better rules but do not scale well on large datasets. Such an alternative to TDIDT is the PrismTCS algorithm. PrismTCS performs particularly well on noisy data but does not scale well on large datasets. In this paper we introduce Prism and investigate its scaling behaviour. We describe how we improved the scalability of the serial version of Prism and investigate its limitations. We then describe our work to overcome these limitations by developing a framework to parallelise algorithms of the Prism family and similar algorithms. We also present the scale up results of a first prototype implementation.

Evolutionary model trees for handling continuous classes in machine learning

Model trees are a particular case of decision trees employed to solve regression problems. They have the advantage of presenting an interpretable output, helping the end-user to get more confidence in the prediction and providing the basis for the end-user to have new insight about the data, confirming or rejecting hypotheses previously formed. Moreover, model trees present an acceptable level of predictive performance in comparison to most techniques used for solving regression problems. Since generating the optimal model tree is an NP-Complete problem, traditional model tree induction algorithms make use of a greedy top-down divide-and-conquer strategy, which may not converge to the global optimal solution. In this paper, we propose a novel algorithm based on the use of the evolutionary algorithms paradigm as an alternate heuristic to generate model trees in order to improve the convergence to globally near-optimal solutions. We call our new approach evolutionary model tree induction (E-Motion). We test its predictive performance using public UCI data sets, and we compare the results to traditional greedy regression/model trees induction algorithms, as well as to other evolutionary approaches. Results show that our method presents a good trade-off between predictive performance and model comprehensibility, which may be crucial in many machine learning applications. (C) 2010 Elsevier Inc. All rights reserved.

Influence of light guide tip used in the photo-activation on degree of conversion and hardness of one nanofilled dental composite

The aim of this study was to evaluate the degree of conversion and hardness of a dental composite resin Filtek (TM) Z-350 (3M ESPE, Dental Products St. Paul, MN) photo-activated for 20 s of irradiation time with two different light guide tips, metal and polymer, coupled on blue LED Ultraled LCU (Dabi Atlante, SP, Brazil). With the metal light tip, power density was of 352 and with the polymer was of 456 mW/cm(2), respectively. Five samples (4 mm in diameter and 2mm in thickness-ISO 4049), were made for each Group evaluated. The measurements for DC (%) were made in a Nexus-470 FT-IR, Thermo Nicolet, E.U.A. Spectroscopy (FTIR). Spectra for both uncured and cured samples were analyzed using an accessory of reflectance diffuse. The measurements were recorded in absorbance operating under the following conditions: 32 scans, 4 cm(-1) resolution, 300-4000 cm(-1) wavelength. The percentage of unreacted carbon double bonds (% C=C) was determined from the ratio of absorbance intensities of aliphatic C=C (peak at 1637 cm(-1)) against internal standard before and after curing of the sample: aromatic C-C (peak at 1610 cm(-1)). The Vickers hardness measurements (top and bottom surfaces) were performed in a universal testing machine (Buehler MMT-3 digital microhardness tester Lake Bluff, Illinois USA). A 50 gf load was used and the indenter with a dwell time of 30 s. The data were submitted to the test t Student at significance level of 5%. The mean values of degree of conversion for the polymer and metal light guide tip no were statistically different (p = 0.8389). The hardness mean values were no statistically significant different among the light guide tips (p = 0.6244), however, there was difference between top and bottom surfaces (p < 0.001). The results show that so much the polymer light tip as the metal light tip can be used for the photo-activation, probably for the low quality of the light guide tip metal.

Low cost non-intrusive home energy monitoring

This thesis presents a low cost non-intrusive home energy monitor built on top of Non-Intrusive Load Monitoring (NILM) concepts and techniques. NILM solutions are already considered low cost alternatives to the big majority of existing commercial energy monitors but the goal here is to make its cost even lower by using a mini netbook as a whole in one solution. The mini netbook is installed in the homes main circuit breaker and computes power consumption by reading current and voltage from the built-in sound card. At the same time, feedback to the users is provided using the 11’’ LCD screen as well as other built-in I/O modules. Our meter is also capable of detecting changes in power and tries to find out which appliance lead to that change and it is being used as part of an eco-feedback platform that was build to study the long terms of energy eco-feedback in individuals. In this thesis the steps that were taken to come up with such a system are presented, from the basics of AC power measurements to the implementation of an event detector and classifier that was used to disaggregate the power load. In the last chapter results from some validation tests that have been performed are presented in order to validate the experiment. It is believed that such a system will not only be important as an energy monitor, but also as an open system than can be easily changed to accommodate and test new or existing nonintrusive load monitoring techniques.

An Optimum-Path Forest framework for intrusion detection in computer networks

Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)

Influence of light guide tip used in the photo-activation on degree of conversion and hardness of one nanofilled dental composite

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES)

Automatic classification of enzyme family in protein annotation

Most of the tasks in genome annotation can be at least partially automated. Since this annotation is time-consuming, facilitating some parts of the process - thus freeing the specialist to carry out more valuable tasks - has been the motivation of many tools and annotation environments. In particular, annotation of protein function can benefit from knowledge about enzymatic processes. The use of sequence homology alone is not a good approach to derive this knowledge when there are only a few homologues of the sequence to be annotated. The alternative is to use motifs. This paper uses a symbolic machine learning approach to derive rules for the classification of enzymes according to the Enzyme Commission (EC). Our results show that, for the top class, the average global classification error is 3.13%. Our technique also produces a set of rules relating structural to functional information, which is important to understand the protein tridimensional structure and determine its biological function. © 2009 Springer Berlin Heidelberg.