Novel single trial movement classification based on temporal dynamics of EEG

Various complex oscillatory processes are involved in the generation of the motor command. The temporal dynamics of these processes were studied for movement detection from single trial electroencephalogram (EEG). Autocorrelation analysis was performed on the EEG signals to find robust markers of movement detection. The evolution of the autocorrelation function was characterised via the relaxation time of the autocorrelation by exponential curve fitting. It was observed that the decay constant of the exponential curve increased during movement, indicating that the autocorrelation function decays slowly during motor execution. Significant differences were observed between movement and no moment tasks. Additionally, a linear discriminant analysis (LDA) classifier was used to identify movement trials with a peak accuracy of 74%.

Investigating music tempo as a feedback mechanism for closed-loop BCI control

The feedback mechanism used in a brain-computer interface (BCI) forms an integral part of the closed-loop learning process required for successful operation of a BCI. However, ultimate success of the BCI may be dependent upon the modality of the feedback used. This study explores the use of music tempo as a feedback mechanism in BCI and compares it to the more commonly used visual feedback mechanism. Three different feedback modalities are compared for a kinaesthetic motor imagery BCI: visual, auditory via music tempo, and a combined visual and auditory feedback modality. Visual feedback is provided via the position, on the y-axis, of a moving ball. In the music feedback condition, the tempo of a piece of continuously generated music is dynamically adjusted via a novel music-generation method. All the feedback mechanisms allowed users to learn to control the BCI. However, users were not able to maintain as stable control with the music tempo feedback condition as they could in the visual feedback and combined conditions. Additionally, the combined condition exhibited significantly less inter-user variability, suggesting that multi-modal feedback may lead to more robust results. Finally, common spatial patterns are used to identify participant-specific spatial filters for each of the feedback modalities. The mean optimal spatial filter obtained for the music feedback condition is observed to be more diffuse and weaker than the mean spatial filters obtained for the visual and combined feedback conditions.

Is it significant? Guidelines for reporting BCI performance

Recent growth in brain-computer interface (BCI) research has increased pressure to report improved performance. However, different research groups report performance in different ways. Hence, it is essential that evaluation procedures are valid and reported in sufficient detail. In this chapter we give an overview of available performance measures such as classification accuracy, cohen’s kappa, information transfer rate (ITR), and written symbol rate. We show how to distinguish results from chance level using confidence intervals for accuracy or kappa. Furthermore, we point out common pitfalls when moving from offline to online analysis and provide a guide on how to conduct statistical tests on (BCI) results.

An optimized auditory P300 BCI based on spatially distributed sound in different voices

In this paper, a new paradigm is presented, to improve the performance of audio-based P300 Brain-computer interfaces (BCIs), by using spatially distributed natural sound stimuli. The new paradigm was compared to a conventional paradigm using spatially distributed sound to demonstrate the performance of this new paradigm. The results show that the new paradigm enlarged the N200 and P300 components, and yielded significantly better BCI performance than the conventional paradigm.

Exploring combinations of different color and facial expression stimuli for gaze-independent BCIs

Background: Some studies have proven that a conventional visual brain computer interface (BCI) based on overt attention cannot be used effectively when eye movement control is not possible. To solve this problem, a novel visual-based BCI system based on covert attention and feature attention has been proposed and was called the gaze-independent BCI. Color and shape difference between stimuli and backgrounds have generally been used in examples of gaze-independent BCIs. Recently, a new paradigm based on facial expression changes has been presented, and obtained high performance. However, some facial expressions were so similar that users couldn't tell them apart, especially when they were presented at the same position in a rapid serial visual presentation (RSVP) paradigm. Consequently, the performance of the BCI is reduced. New Method: In this paper, we combined facial expressions and colors to optimize the stimuli presentation in the gaze-independent BCI. This optimized paradigm was called the colored dummy face pattern. It is suggested that different colors and facial expressions could help users to locate the target and evoke larger event-related potentials (ERPs). In order to evaluate the performance of this new paradigm, two other paradigms were presented, called the gray dummy face pattern and the colored ball pattern. Comparison with Existing Method(s): The key point that determined the value of the colored dummy faces stimuli in BCI systems was whether the dummy face stimuli could obtain higher performance than gray faces or colored balls stimuli. Ten healthy participants (seven male, aged 21–26 years, mean 24.5 ± 1.25) participated in our experiment. Online and offline results of four different paradigms were obtained and comparatively analyzed. Results: The results showed that the colored dummy face pattern could evoke higher P300 and N400 ERP amplitudes, compared with the gray dummy face pattern and the colored ball pattern. Online results showed that the colored dummy face pattern had a significant advantage in terms of classification accuracy (p < 0.05) and information transfer rate (p < 0.05) compared to the other two patterns. Conclusions: The stimuli used in the colored dummy face paradigm combined color and facial expressions. This had a significant advantage in terms of the evoked P300 and N400 amplitudes and resulted in high classification accuracies and information transfer rates. It was compared with colored ball and gray dummy face stimuli.

Detecção de potenciais corticais antecipatórios em sinais de eletroencefalografia (EEG) durante a condução de carros

O reconhecimento da intenção do condutor a partir de sinais de eletroencefalografia (EEG) pode ser útil no desenvolvimento de interfaces cérebro computador (BCI) para serem usadas em sinergia com veículos inteligentes. Isso pode ser benéfico para melhorar a qualidade de interação entre o motorista e o carro, por exemplo, fornecendo uma resposta do carro inteligente alinhada com a intenção do motorista. Neste estudo, considera-se a antecipação como sendo o estado cognitivo que leva a ações especificas durante a condução de um automóvel. Portanto, propomos investigar a presença de padrões antecipatórios em sinais EEG durante a condução de veículos para determinar duas ações especifícas (1) virar à esquerda e (2) virar à direita, alguns milissegundos antes que tais ações aconteçam. Um protocolo experimental foi proposto para gravar sinais EEG de 5 indivíduos enquanto eles operam um simulador de realidade virtual não invasiva - que foi projetado para tal experimento - que simula a condução de um carro virtual. O protocolo experimental é uma variante do paradigma da variação negativa contingente (CNV) com condições Go e No-go no sistema de condução de realidade virtual. Os resultados apresentados neste estudo indicam a presença de padrões antecipatórios em potenciais corticais lentos observados no domínio do tempo (medias dos sinais EEG) e da frequência (Power Spectra e coerência de fase). Isso abre um leque de possibilidades no desenvolvimento de sistemas BCI - baseados em sinais antecipatórios - que conectem o motorista ao veiculo inteligente favorecendo uma tomada de decisão que analise as intenções dos condutores podendo eventualmente evitar acidentes durante a condução.

Sviluppo di un sistema bci eeg-based per il controllo del movimento di un modello di arto superiore

Nel presente lavoro di tesi è stato sviluppato e testato un sistema BCI EEG-based che sfrutta la modulazione dei ritmi sensorimotori tramite immaginazione motoria della mano destra e della mano sinistra. Per migliorare la separabilità dei due stati mentali, in questo lavoro di tesi si è sfruttato l'algoritmo CSP (Common Spatial Pattern), in combinazione ad un classificatore lineare SVM. I due stati mentali richiesti sono stati impiegati per controllare il movimento (rotazione) di un modello di arto superiore a 1 grado di libertà, simulato sullo schermo. Il cuore del lavoro di tesi è consistito nello sviluppo del software del sistema BCI (basato su piattaforma LabVIEW 2011), descritto nella tesi. L'intero sistema è stato poi anche testato su 4 soggetti, per 6 sessioni di addestramento.

Le interfacce neurali e le loro possibili applicazioni nell'assistive technology

Ogni anno si registra un crescente aumento delle persone affette da patologie neurodegenerative come la sclerosi laterale amiotrofica, la sclerosi multipla, la malattia di Parkinson e persone soggette a gravi disabilità motorie dovute ad ictus, paralisi cerebrale o lesioni al midollo spinale. Spesso tali condizioni comportano menomazioni molto invalidanti e permanenti delle vie nervose, deputate al controllo dei muscoli coinvolti nell’esecuzione volontaria delle azioni. Negli ultimi anni, molti gruppi di ricerca si sono interessati allo sviluppo di sistemi in grado di soddisfare le volontà dell’utente. Tali sistemi sono generalmente definiti interfacce neurali e non sono pensati per funzionare autonomamente ma per interagire con il soggetto. Tali tecnologie, note anche come Brain Computer Interface (BCI), consentono una comunicazione diretta tra il cervello ed un’apparecchiatura esterna, basata generalmente sull’elettroencefalografia (EEG), in grado di far comunicare il sistema nervoso centrale con una periferica esterna. Tali strumenti non impiegano le usuali vie efferenti coinvolte nella produzione di azioni quali nervi e muscoli, ma collegano l'attività cerebrale ad un computer che ne registra ed interpreta le variazioni, permettendo quindi di ripristinare in modo alternativo i collegamenti danneggiati e recuperare, almeno in parte, le funzioni perse. I risultati di numerosi studi dimostrano che i sistemi BCI possono consentire alle persone con gravi disabilità motorie di condividere le loro intenzioni con il mondo circostante e provano perciò il ruolo importante che esse sono in grado di svolgere in alcune fasi della loro vita.

Innovazioni nel campo dell'ElettroEncefalografia

Il funzionamento del cervello umano, organo responsabile di ogni nostra azione e pensiero, è sempre stato di grande interesse per la ricerca scientifica. Dopo aver compreso lo sviluppo dei potenziali elettrici da parte di nuclei neuronali in risposta a stimoli, si è riusciti a graficare il loro andamento con l'avvento dell'ElettroEncefaloGrafia (EEG). Tale tecnologia è entrata a far parte degli esami di routine per la ricerca di neuropsicologia e di interesse clinico, poiché permette di diagnosticare e discriminare i vari tipi di epilessia, la presenza di traumi cranici e altre patologie del sistema nervoso centrale. Purtroppo presenta svariati difetti: il segnale è affetto da disturbi e richiede un'adeguata elaborazione tramite filtraggio e amplificazione, rimanendo comunque sensibile a disomogeneità dei tessuti biologici e rendendo difficoltoso il riconoscimento delle sorgenti del segnale che si sono attivate durante l'esame (il cosiddetto problema inverso). Negli ultimi decenni la ricerca ha portato allo sviluppo di nuove tecniche d'indagine, di particolare interesse sono la ElettroEncefaloGrafia ad Alta Risoluzione (HREEG) e la MagnetoEncefaloGrafia (MEG). L'HREEG impiega un maggior numero di elettrodi (fino a 256) e l'appoggio di accurati modelli matematici per approssimare la distribuzione di potenziale elettrico sulla cute del soggetto, garantendo una migliore risoluzione spaziale e maggior sicurezza nel riscontro delle sorgenti neuronali. Il progresso nel campo dei superconduttori ha reso possibile lo sviluppo della MEG, che è in grado di registrare i deboli campi magnetici prodotti dai segnali elettrici corticali, dando informazioni immuni dalle disomogeneità dei tessuti e andando ad affiancare l'EEG nella ricerca scientifica. Queste nuove tecnologie hanno aperto nuovi campi di sviluppo, più importante la possibilità di comandare protesi e dispositivi tramite sforzo mentale (Brain Computer Interface). Il futuro lascia ben sperare per ulteriori innovazioni.

Regularization for sparsity in statistical analysis and machine learning

Pragmatism is the leading motivation of regularization. We can understand regularization as a modification of the maximum-likelihood estimator so that a reasonable answer could be given in an unstable or ill-posed situation. To mention some typical examples, this happens when fitting parametric or non-parametric models with more parameters than data or when estimating large covariance matrices. Regularization is usually used, in addition, to improve the bias-variance tradeoff of an estimation. Then, the definition of regularization is quite general, and, although the introduction of a penalty is probably the most popular type, it is just one out of multiple forms of regularization. In this dissertation, we focus on the applications of regularization for obtaining sparse or parsimonious representations, where only a subset of the inputs is used. A particular form of regularization, L1-regularization, plays a key role for reaching sparsity. Most of the contributions presented here revolve around L1-regularization, although other forms of regularization are explored (also pursuing sparsity in some sense). In addition to present a compact review of L1-regularization and its applications in statistical and machine learning, we devise methodology for regression, supervised classification and structure induction of graphical models. Within the regression paradigm, we focus on kernel smoothing learning, proposing techniques for kernel design that are suitable for high dimensional settings and sparse regression functions. We also present an application of regularized regression techniques for modeling the response of biological neurons. Supervised classification advances deal, on the one hand, with the application of regularization for obtaining a na¨ıve Bayes classifier and, on the other hand, with a novel algorithm for brain-computer interface design that uses group regularization in an efficient manner. Finally, we present a heuristic for inducing structures of Gaussian Bayesian networks using L1-regularization as a filter. El pragmatismo es la principal motivación de la regularización. Podemos entender la regularización como una modificación del estimador de máxima verosimilitud, de tal manera que se pueda dar una respuesta cuando la configuración del problema es inestable. A modo de ejemplo, podemos mencionar el ajuste de modelos paramétricos o no paramétricos cuando hay más parámetros que casos en el conjunto de datos, o la estimación de grandes matrices de covarianzas. Se suele recurrir a la regularización, además, para mejorar el compromiso sesgo-varianza en una estimación. Por tanto, la definición de regularización es muy general y, aunque la introducción de una función de penalización es probablemente el método más popular, éste es sólo uno de entre varias posibilidades. En esta tesis se ha trabajado en aplicaciones de regularización para obtener representaciones dispersas, donde sólo se usa un subconjunto de las entradas. En particular, la regularización L1 juega un papel clave en la búsqueda de dicha dispersión. La mayor parte de las contribuciones presentadas en la tesis giran alrededor de la regularización L1, aunque también se exploran otras formas de regularización (que igualmente persiguen un modelo disperso). Además de presentar una revisión de la regularización L1 y sus aplicaciones en estadística y aprendizaje de máquina, se ha desarrollado metodología para regresión, clasificación supervisada y aprendizaje de estructura en modelos gráficos. Dentro de la regresión, se ha trabajado principalmente en métodos de regresión local, proponiendo técnicas de diseño del kernel que sean adecuadas a configuraciones de alta dimensionalidad y funciones de regresión dispersas. También se presenta una aplicación de las técnicas de regresión regularizada para modelar la respuesta de neuronas reales. Los avances en clasificación supervisada tratan, por una parte, con el uso de regularización para obtener un clasificador naive Bayes y, por otra parte, con el desarrollo de un algoritmo que usa regularización por grupos de una manera eficiente y que se ha aplicado al diseño de interfaces cerebromáquina. Finalmente, se presenta una heurística para inducir la estructura de redes Bayesianas Gaussianas usando regularización L1 a modo de filtro.

Sviluppo e test di un sistema BCI SSVEP-based

Una Brain Computer Interface (BCI) è un dispositivo che permette la misura e l’utilizzo di segnali cerebrali al fine di comandare software e/o periferiche di vario tipo, da semplici videogiochi a complesse protesi robotizzate. Tra i segnali attualmente più utilizzati vi sono i Potenziali Evocati Visivi Steady State (SSVEP), variazioni ritmiche di potenziale elettrico registrabili sulla corteccia visiva primaria con un elettroencefalogramma (EEG) non invasivo; essi sono evocabili attraverso una stimolazione luminosa periodica, e sono caratterizzati da una frequenza di oscillazione pari a quella di stimolazione. Avendo un rapporto segnale rumore (SNR) particolarmente favorevole ed una caratteristica facilmente studiabile, gli SSVEP sono alla base delle più veloci ed immediate BCI attualmente disponibili. All’utente vengono proposte una serie di scelte ciascuna associata ad una stimolazione visiva a diversa frequenza, fra le quali la selezionata si ripresenterà nelle caratteristiche del suo tracciato EEG estratto in tempo reale. L’obiettivo della tesi svolta è stato realizzare un sistema integrato, sviluppato in LabView che implementasse il paradigma BCI SSVEP-based appena descritto, consentendo di: 1. Configurare la generazione di due stimoli luminosi attraverso l’utilizzo di LED esterni; 2. Sincronizzare l’acquisizione del segnale EEG con tale stimolazione; 3. Estrarre features (attributi caratteristici di ciascuna classe) dal suddetto segnale ed utilizzarle per addestrare un classificatore SVM; 4. Utilizzare il classificatore per realizzare un’interfaccia BCI realtime con feedback per l’utente. Il sistema è stato progettato con alcune delle tecniche più avanzate per l’elaborazione spaziale e temporale del segnale ed il suo funzionamento è stato testato su 4 soggetti sani e comparato alle più moderne BCI SSVEP-based confrontabili rinvenute in letteratura.

Using electroencephalography signals to control acoustical processing

Current hearing-assistive technology performs poorly in noisy multi-talker conditions. The goal of this thesis was to establish the feasibility of using EEG to guide acoustic processing in such conditions. To attain this goal, this research developed a model via the constructive research method, relying on literature review. Several approaches have revealed improvements in the performance of hearing-assistive devices under multi-talker conditions, namely beamforming spatial filtering, model-based sparse coding shrinkage, and onset enhancement of the speech signal. Prior research has shown that electroencephalography (EEG) signals contain information that concerns whether the person is actively listening, what the listener is listening to, and where the attended sound source is. This thesis constructed a model for using EEG information to control beamforming, model-based sparse coding shrinkage, and onset enhancement of the speech signal. The purpose of this model is to propose a framework for using EEG signals to control sound processing to select a single talker in a noisy environment containing multiple talkers speaking simultaneously. On a theoretical level, the model showed that EEG can control acoustical processing. An analysis of the model identified a requirement for real-time processing and that the model inherits the computationally intensive properties of acoustical processing, although the model itself is low complexity placing a relatively small load on computational resources. A research priority is to develop a prototype that controls hearing-assistive devices with EEG. This thesis concludes highlighting challenges for future research.

Análise de sinais cerebrais utilizando árvores de decisão

Este trabalho propõe um estudo de sinais cerebrais aplicados em sistemas BCI (Brain-Computer Interface - Interfaces Cérebro Computador), através do uso de Árvores de Decisão e da análise dessas árvores com base nas Neurociências. Para realizar o tratamento dos dados são necessárias 5 fases: aquisição de dados, pré-processamento, extração de características, classificação e validação. Neste trabalho, todas as fases são contempladas. Contudo, enfatiza-se as fases de classificação e de validação. Na classificação utiliza-se a técnica de Inteligência Artificial denominada Árvores de Decisão. Essa técnica é reconhecida na literatura como uma das formas mais simples e bem sucedidas de algoritmos de aprendizagem. Já a fase de validação é realizada nos estudos baseados na Neurociência, que é um conjunto das disciplinas que estudam o sistema nervoso, sua estrutura, seu desenvolvimento, funcionamento, evolução, relação com o comportamento e a mente, e também suas alterações. Os resultados obtidos neste trabalho são promissores, mesmo sendo iniciais, visto que podem melhor explicar, com a utilização de uma forma automática, alguns processos cerebrais.

Adquisición y análisis de señales cerebrales utilizando el dispositivo MindWave

La actividad cerebral puede ser monitoreada mediante la electroencefalografía y utilizada como un indicador bioeléctrico. Este articulo muestra como un dispositivo de bajo costo y fácil acceso puede utilizarse para el desarrollo de aplicaciones basadas en interfaces cerebro-computador (BCI). Los resultados obtenidos muestran que el dispositivo MindWave puede efectivamente utilizarse para la adquisición de señales relacionadas a la actividad cerebral en diversas actividades cerebrales bajo la influencia de diversos estímulos. Se propone además el uso de la transformada Wavelet para el acondicionamiento de las señales EEG con el objetivo de utilizar algoritmos de inteligencia artificial y técnicas de reconocimiento de patrones para distinguir respuestas cerebrales.