Support Vector Machines: Training and Applications

The Support Vector Machine (SVM) is a new and very promising classification technique developed by Vapnik and his group at AT&T Bell Labs. This new learning algorithm can be seen as an alternative training technique for Polynomial, Radial Basis Function and Multi-Layer Perceptron classifiers. An interesting property of this approach is that it is an approximate implementation of the Structural Risk Minimization (SRM) induction principle. The derivation of Support Vector Machines, its relationship with SRM, and its geometrical insight, are discussed in this paper. Training a SVM is equivalent to solve a quadratic programming problem with linear and box constraints in a number of variables equal to the number of data points. When the number of data points exceeds few thousands the problem is very challenging, because the quadratic form is completely dense, so the memory needed to store the problem grows with the square of the number of data points. Therefore, training problems arising in some real applications with large data sets are impossible to load into memory, and cannot be solved using standard non-linear constrained optimization algorithms. We present a decomposition algorithm that can be used to train SVM's over large data sets. The main idea behind the decomposition is the iterative solution of sub-problems and the evaluation of, and also establish the stopping criteria for the algorithm. We present previous approaches, as well as results and important details of our implementation of the algorithm using a second-order variant of the Reduced Gradient Method as the solver of the sub-problems. As an application of SVM's, we present preliminary results we obtained applying SVM to the problem of detecting frontal human faces in real images.

Object and Scene Classification: what does a Supervised Approach Provide us?

Given a set of images of scenes containing different object categories (e.g. grass, roads) our objective is to discover these objects in each image, and to use this object occurrences to perform a scene classification (e.g. beach scene, mountain scene). We achieve this by using a supervised learning algorithm able to learn with few images to facilitate the user task. We use a probabilistic model to recognise the objects and further we classify the scene based on their object occurrences. Experimental results are shown and evaluated to prove the validity of our proposal. Object recognition performance is compared to the approaches of He et al. (2004) and Marti et al. (2001) using their own datasets. Furthermore an unsupervised method is implemented in order to evaluate the advantages and disadvantages of our supervised classification approach versus an unsupervised one

Incidencia de fibrilación auricular en pacientes con dispositivos de estimulación cardiaca con cardiopatía chagásica y no chagásica

La posible asociación entre el desarrollo de fibrilación auricular (FA) con la presencia de cardiopatía chagásica en una población portadora de dispositivos cardiacos de estimulación no está descrita. Se presenta un estudio de tipo cohorte retrospectivo realizado en la FCI que recopila las principales características clínicas de una población de pacientes con cardiopatía de variada etiología y portadores de dispositivos cardiacos buscando evaluar la incidencia de FA en presencia de cardiomiopatía de origen chagásico y no chagásico. A la fecha no se cuenta con una base de datos institucional ni regional que contenga las variables analizadas. Durante los 5 meses que duró la construcción de la base de datos se incluyeron 99 sujetos de investigación. Se implantaron 42 marcapasos bicamerales, 39 cardiodesfibriladores bicamerales, 6 dispositivos correspondientes cardiodesfibrilador con función de resincronización cardiaca, 2 resincronizadores cardiacos sin función de cardiodesfibrilador y 7 cardiodesfibriladores unicamerales. De los 99 sujetos recolectados se presentaron 8 desenlaces (FA de novo) y de esos solamente 1 pertenece al grupo de pacientes con cardiomiopatía chagásica. Este número reducido de desenlaces no permitió desarrollar un modelo de regresión de Cox y ni otros tipos de análisis estadísticos planteados en el protocolo inicial debido al bajo número de casos y pobre poder estadístico. Esta dificultad es inherente a la naturaleza del problema a estudiar y al corto tiempo de seguimiento. Por lo anterior no se puede establecer si existe una relación entre la presencia de serología positiva para infección por T. Cruzi y la presencia de FA de novo.

La webquest como estrategia metodológica en la enseñanza universitaria de la asignatura de contabilidad de empresas turísticas.

Resumen tomado de la publicación

La investigació sobre l'èxit i el fracàs escolar des la la perspectiva dels factors de risc. Implicacions per a la recerca i la pràctica educatives

La situació problemàtica de la qual partim en aquesta tesi és la constatació de l'existència d'unes dinàmiques escolars negatives -expressades amb males notes reiterades- difícils de modificar, que determinats infants inicien i desenvolupen al llarg de la seva escolarització i que els condueix a una situació de fracàs escolar. Les males notes són el senyal que alerta pares i educadors de la presència de problemes escolars en els alumnes i constitueixen la causa explícita que motiva la cerca de solucions. Sovint es busquen solucions fora de l'escola, la qual cosa suggereix que, malgrat els esforços realitzats, l'escola i el sistema educatiu han tingut dificultats per a ajudar els infants a millorar globalment els seus resultats escolars. D'una banda, l'escola troba dificultats per a identificar el mes aviat possible quins infants seran mes susceptibles de desenvolupar unes dinàmiques escolars negatives que els puguin conduir a una situació de fracàs escolar. D'altra banda, també hi ha dificultats per trobar i aplicar estratègies preventives d'intervenció educativa a l'aula, que resultin adequades per a prevenir el desenvolupament de dinàmiques escolars negatives en alguns infants. Partint de la situació problemàtica descrita, la finalitat de la tesi es obtenir informació teòrica , empírica sobre algunes variables que puguin resultar rellevants per a articular, des de l'aula escolar, intervencions educatives destinades a prevenir el desenvolupament de les dinàmiques escolars negatives. Des de la perspectiva de la prevenció, la rellevància de les variables hauria d'establir-se en funció de la seva utilitat per a: A) Identificar des de l'aula escolar situacions de més perill -de més risc- de desenvolupar aquestes dinàmiques negatives i, consegüentment, arribar a la situació de fracàs escolar . Això implica, per tant, que les variables han de permetre la identificació abans que la situació de fracàs escolar es produeixi . B) Intervenir educativament des de l'escola; per tant, cal que siguin variables sobre les quals l'escola pugui incidir. La modificabilitat de les variables ha de permetre que es puguin emprendre accions educatives, des de la mateixa aula escolar. Variables que resultin suficientment importants de cara a disminuir el perill o evitar el desenvolupament de dinàmiques negatives. Es a dir, que la seva modificació contribueixi a evitar que els infants arribin a la situació de fracàs escolar. Per assolir aquesta finalitat es realitzen un segut de passes en funció de les quals s'ha estructurat la tesi en dues parts: Un marc teòric i un estudi de casos. EI Marc teòric té dos objectius: 1. Definir la situació problemàtica. En el capítol primer del marc teòric de la tesi, s'exposen les dimensions d'aquesta situació problemàtica. La revisió bibliogràfica entorn del tema del fracàs escolar ens ajuda a emmarcar la qüestió de les dinàmiques escolars en el fenomen complex del fracàs i l'èxit escolar, i del rendiment. Aquestes aportacions teòriques juntament amb les aportacions de la recerca educativa en relació a l'estabilitat del rendiment al llarg dels cursos són la base per a definir la situació problemàtica. 2. Delimitar, des d'un punt de vista teòric, algunes variables rellevants per a la prevenció del desenvolupament de dinàmiques escolars negatives, conduents a la situació de fracàs escolar. La primera passa per a dur a terme aquesta delimitació teòrica, que es presenta al segon capítol, ha estat revisar les aportacions de les investigacions sobre variables que incideixen en el rendiment escolar, les quals s'han analitzat en funció de la seva rellevància per a la prevenció. Aquesta revisió ha permès constatar un seguit de problemes de caire terminològic, metodològic i sobre la repercussió d'aquesta recerca en la practica educativa que afecten directament la utilitat de les aportacions d'aquestes investigacions de cara a identificar variables rellevants per a la prevenció. De l'anàlisi dels resultats d'aquestes recerques es desprèn que: a) Hi ha moltes variables associades al rendiment escolar, algunes difícilment modificables mitjançant la intervenció educativa escolar. b) EI fet que una variable estigui associada al rendiment no implica que sigui rellevant per a la prevenció c) S'obté poca informació sobre variables que contribueixin a disminuir la probabilitat de fracàs escolar. En base a aquests resultats es constata que cal buscar una perspectiva d'anàlisi de les variables mes adequades a l'enfocament preventiu, perspectiva que ha d'orientar-se a l'estudi del risc de fracàs escolar. La segona passa que es duu a terme per arribar a una delimitació teòrica de les variables rellevants es l'estudi del concepte de risc i d'altres conceptes relacionats: signe de risc, marcador de risc, factor de risc, factor protector, població en risc, infant en situació de risc, així com la revisió d'estudis i recerques que s'han plantejat en aquesta línia. Aquest treball ha permès: a) Clarificar aquests conceptes i aplicar-los en l'àmbit educatiu, en referència al problema del fracàs escolar, estructurant un marc teòric en funció del qual plantejar una anàlisi de les variables associades al rendiment escolar. b) Concretar un model per a l'anàlisi, des de l'aula escolar, de les variables que incideixen en el risc de fracàs escolar. Aquest model, que es situa en la perspectiva de l'aula escolar i que pren en consideració el paper actiu que els estudiants tenen respecte al seu aprenentatge, consta de tres components: unes variables, les seves relacions i la funció que exerceixen en relació al risc de fracàs escolar. La conclusió a la qual s'arriba es que, des d'un punt de vista teòric, una variable serà rellevant per a articular intervencions educatives preventives des de l'escola si constitueix o bé un factor de risc, o be un factor protector o compensador del risc. La delimitació empírica de variables rellevants per a la prevenció del fracàs escolar -que constitueix l'objectiu de la segona part de la tesi- es duu a terme mitjançant un estudi de casos que es deriva del plantejament teòric elaborat. L'objectiu d'aquest estudi es identificar variables que han pogut constituir factors protectors en joves que es troben en situació de risc per circumstàncies sociofamiliars. Se seleccionen tres noies i dos nois que, malgrat trobar-se en situació de risc, han assolit un cert nivell d'èxit escolar. Basant-nos en el model s'ha recollit informació sobre característiques actitudinals dels estudiants, del seu procés d'autoaprenentatge i de l'ambient d'aprenentatge. S'utilitza un disseny qualitatiu d'estudi de casos, utilitzant entrevistes amb profunditat per a recollir informació, la qual s'analitza mitjançant tècniques d'anàlisi de continguts. L'estudi de cada un dels cinc casos i la seva posterior comparació ha permès identificar algunes variables que poden haver constituït factors protectors del risc de fracàs escolar. Entre elles podem citar 1. La consciència de la pròpia situació complexa i desfavorable que han viscut o estan vivint. 2. Tenir un projecte vital a mig o llarg termini, en el qual els estudis són concebuts com a una via per assolir-lo. 3. Ser autoresponsables dels aprenentatges. 4. Haver identificat models a seguir en altres persones. Del treball realitzat tant des d'una perspectiva teòrica com empírica i les conclusions a les quals s'ha arribat se'n desprenen implicacions per a la practica educativa, per a la recerca i per a la formació professional dels educadors i educadores socials. Pel que fa a les implicacions per a la practica educativa, es proposa el model com a base per a la identificació de situacions de risc i per al disseny d'intervencions educatives amb l'objectiu de prevenir el fracàs escolar. En aquest sentit, i en funció dels resultats obtinguts a l'estudi de casos, es proposen unes línies d'intervenció preventiva en casos de risc similars als que han estat objecte d'estudi, línies que poden prendre en consideració tant els/les mestres com els educadors/es. Pel que fa a les implicacions per a la investigació educativa, es deriven quatre línies de recerca: investigació sobre factors de risc, investigació sobre factors protectors, investigació sobre el potencial preventiu d'intervencions educatives dissenyades en base a factors de risc i factors protectors, l'investigació sobre com potenciar des de diferents àmbits (escola i vida quotidiana) els fadors protectors. Quant a les implicacions per a la formació professional dels educadors/es socials, els resultats de l'estudi de casos com a possibles aspectes a treballar per part dels educadors/es impliquen un treball en el qual aquests professionals han d'haver rebut formació sobre: 1. La relació educativa com a recurs per a la intervenció educativa professional. 2. La necessitat d'un treball coordinat interdisciplinari com a estratègia de treball professional. 3. EI coneixement de programes coherents i estratègies d'intervenció sobre factors protectors. 4. L'elaboració de programes educatius, de manera que els educadors/es puguin adaptar les intervencions a les necessitats educatives dels subjectes. 5. La intervenció educativa en famílies.

Propuesta para la intervención psicopedagógica con vista a la mejora de la orientación en el contexto del Centro Universitario de Sancti Spíritus "José Martí Pérez"

La investigación se propuso identificar las posibilidades que ofrece el marco universitario actual para la práctica de la orientación y la tutoría en Cuba y asesorar el diseño e implementación de un programa de orientación a ser aplicado en el Centro Universitario de Sancti Spíritus. El abordaje de la problemática desde una perspectiva interpretativa, con un marco metodológico cualitativo, basado en la investigación - acción como estrategia de intervención y el asesoramiento colaborativo como modelo de interrelación de las partes implicadas, nos posibilitó conocer que las modificaciones en las concepciones y políticas educativas cubanas están creando un espacio en el que la tutoría se convierte en un instrumento capaz de facilitar el autoaprendizaje desarrollador, la cual desarrollada sobre la base de un asesoramiento psicopedagógico colaborativo propicia un alto grado de participación e implicación de los profesores en sus decisiones y les concede un importante nivel de autonomía en sus prácticas.

O ensino-aprendizagem da física e da química: manuais escolares versus recursos digitais

Nesta dissertação investigamos o uso do manual escolar na sala de aula, em consonância com as mudanças das práticas pedagógicas resultantes da existência de novos recursos digitais agregados ao manual escolar, tais como o e-manual, os CD-ROM e DVDs e, as plataformas educacionais na Internet, em particular, a Escola Virtual, da Porto Editora. O leitmotiv da realização desta investigação é avaliar a utilização destes recursos, quer nas práticas pedagógicas inovadoras por parte dos docentes, quer na contribuição para melhorar a aprendizagem dos alunos. No sentido de melhor compreender e analisar o impacto da integração dos recursos digitais no ensino-aprendizagem, escolhemos os recursos da Porto Editora, visto tratar-se de um estudo de caso centrado numa escola que adotou estes recursos. A partir de um enquadramento metodológico que procura ultrapassar as dicotomias entre as abordagens quantitativas e as abordagens qualitativas, centramos o nosso estudo numa unidade didática, Astronomia, lecionada no 7º ano de escolaridade, na disciplina de Ciências Físico-Químicas. Com base num modelo heurístico, os dados recolhidos através de questionários a professores e alunos numa escola onde a investigadora estagiou, referente a este conteúdo, indicam que a utilização dos referidos recursos digitais no ensino-aprendizagem, fomentou a motivação para a realização de atividades propostas, facilitou a compreensão e a aprendizagem de conceitos e motivou os alunos para o estudo na disciplina de Ciências Físico-Químicas. Não podemos deixar de enfatizar a exploração do manual interativo, como um elemento extremamente inovador, e simultaneamente potenciador da disseminação de conhecimentos em espaços não convencionais de ensino, pela possibilidade de autoaprendizagem, respeitando as particularidades dos alunos. No entendimento de uma postura de abertura e de investigação permanente e, conscientes de que o ensino-aprendizagem engloba inúmeros fatores, apontamos alguns trajetos investigativos possíveis que poderão, eventualmente, despontar, a partir deste estudo. 

Application of personal computers to eddy current inspections

This presentation describes a system for measuring claddings as an example of the many possible advantages to be obtained by applying a personal computer to eddy current testing. A theoretical model and a learning algorithm are integrated into an instrument. They are supported in the PC, and serve to simplify and enhance multiparameter testing. The PC gives additional assistance by simplifying set-up procedures and data logging etc.

A camera based digit location and recognition system for garment tracking

Garment information tracking is required for clean room garment management. In this paper, we present a camera-based robust system with implementation of Optical Character Reconition (OCR) techniques to fulfill garment label recognition. In the system, a camera is used for image capturing; an adaptive thresholding algorithm is employed to generate binary images; Connected Component Labelling (CCL) is then adopted for object detection in the binary image as a part of finding the ROI (Region of Interest); Artificial Neural Networks (ANNs) with the BP (Back Propagation) learning algorithm are used for digit recognition; and finally the system is verified by a system database. The system has been tested. The results show that it is capable of coping with variance of lighting, digit twisting, background complexity, and font orientations. The system performance with association to the digit recognition rate has met the design requirement. It has achieved real-time and error-free garment information tracking during the testing.

Sparse model identification using orthogonal forward regression with basis pursuit and D-optimality

An efficient model identification algorithm for a large class of linear-in-the-parameters models is introduced that simultaneously optimises the model approximation ability, sparsity and robustness. The derived model parameters in each forward regression step are initially estimated via the orthogonal least squares (OLS), followed by being tuned with a new gradient-descent learning algorithm based on the basis pursuit that minimises the l(1) norm of the parameter estimate vector. The model subset selection cost function includes a D-optimality design criterion that maximises the determinant of the design matrix of the subset to ensure model robustness and to enable the model selection procedure to automatically terminate at a sparse model. The proposed approach is based on the forward OLS algorithm using the modified Gram-Schmidt procedure. Both the parameter tuning procedure, based on basis pursuit, and the model selection criterion, based on the D-optimality that is effective in ensuring model robustness, are integrated with the forward regression. As a consequence the inherent computational efficiency associated with the conventional forward OLS approach is maintained in the proposed algorithm. Examples demonstrate the effectiveness of the new approach.

Bayesian retrieval of complete posterior PDFs of oceanic rain rate from microwave observations

A new Bayesian algorithm for retrieving surface rain rate from Tropical Rainfall Measuring Mission (TRMM) Microwave Imager (TMI) over the ocean is presented, along with validations against estimates from the TRMM Precipitation Radar (PR). The Bayesian approach offers a rigorous basis for optimally combining multichannel observations with prior knowledge. While other rain-rate algorithms have been published that are based at least partly on Bayesian reasoning, this is believed to be the first self-contained algorithm that fully exploits Bayes’s theorem to yield not just a single rain rate, but rather a continuous posterior probability distribution of rain rate. To advance the understanding of theoretical benefits of the Bayesian approach, sensitivity analyses have been conducted based on two synthetic datasets for which the “true” conditional and prior distribution are known. Results demonstrate that even when the prior and conditional likelihoods are specified perfectly, biased retrievals may occur at high rain rates. This bias is not the result of a defect of the Bayesian formalism, but rather represents the expected outcome when the physical constraint imposed by the radiometric observations is weak owing to saturation effects. It is also suggested that both the choice of the estimators and the prior information are crucial to the retrieval. In addition, the performance of the Bayesian algorithm herein is found to be comparable to that of other benchmark algorithms in real-world applications, while having the additional advantage of providing a complete continuous posterior probability distribution of surface rain rate.

Nonlinear model structure design and construction using orthogonal least squares and D-optimality design

A very efficient learning algorithm for model subset selection is introduced based on a new composite cost function that simultaneously optimizes the model approximation ability and model robustness and adequacy. The derived model parameters are estimated via forward orthogonal least squares, but the model subset selection cost function includes a D-optimality design criterion that maximizes the determinant of the design matrix of the subset to ensure the model robustness, adequacy, and parsimony of the final model. The proposed approach is based on the forward orthogonal least square (OLS) algorithm, such that new D-optimality-based cost function is constructed based on the orthogonalization process to gain computational advantages and hence to maintain the inherent advantage of computational efficiency associated with the conventional forward OLS approach. Illustrative examples are included to demonstrate the effectiveness of the new approach.

Nonlinear model structure detection using optimum experimental design and orthogonal least squares

A very efficient learning algorithm for model subset selection is introduced based on a new composite cost function that simultaneously optimizes the model approximation ability and model adequacy. The derived model parameters are estimated via forward orthogonal least squares, but the subset selection cost function includes an A-optimality design criterion to minimize the variance of the parameter estimates that ensures the adequacy and parsimony of the final model. An illustrative example is included to demonstrate the effectiveness of the new approach.

Towards cost-sensitive adaptation: when is it worth updating your predictive model?

Our digital universe is rapidly expanding,more and more daily activities are digitally recorded, data arrives in streams, it needs to be analyzed in real time and may evolve over time. In the last decade many adaptive learning algorithms and prediction systems, which can automatically update themselves with the new incoming data, have been developed. The majority of those algorithms focus on improving the predictive performance and assume that model update is always desired as soon as possible and as frequently as possible. In this study we consider potential model update as an investment decision, which, as in the financial markets, should be taken only if a certain return on investment is expected. We introduce and motivate a new research problem for data streams ? cost-sensitive adaptation. We propose a reference framework for analyzing adaptation strategies in terms of costs and benefits. Our framework allows to characterize and decompose the costs of model updates, and to asses and interpret the gains in performance due to model adaptation for a given learning algorithm on a given prediction task. Our proof-of-concept experiment demonstrates how the framework can aid in analyzing and managing adaptation decisions in the chemical industry.

Inference From Aging Information

For many learning tasks the duration of the data collection can be greater than the time scale for changes of the underlying data distribution. The question we ask is how to include the information that data are aging. Ad hoc methods to achieve this include the use of validity windows that prevent the learning machine from making inferences based on old data. This introduces the problem of how to define the size of validity windows. In this brief, a new adaptive Bayesian inspired algorithm is presented for learning drifting concepts. It uses the analogy of validity windows in an adaptive Bayesian way to incorporate changes in the data distribution over time. We apply a theoretical approach based on information geometry to the classification problem and measure its performance in simulations. The uncertainty about the appropriate size of the memory windows is dealt with in a Bayesian manner by integrating over the distribution of the adaptive window size. Thus, the posterior distribution of the weights may develop algebraic tails. The learning algorithm results from tracking the mean and variance of the posterior distribution of the weights. It was found that the algebraic tails of this posterior distribution give the learning algorithm the ability to cope with an evolving environment by permitting the escape from local traps.