Interactive email filtering: Learning from misclassified examples

Learning from mistakes has proven to be an effective way of learning in the interactive document classifications. In this paper we propose an approach to effectively learning from mistakes in the email filtering process. Our system has employed both SVM and Winnow machine learning algorithms to learn from misclassified email documents and refine the email filtering process accordingly. Our experiments have shown that the training of an email filter becomes much effective and faster

FEATURE SELECTION AND COMPARISON OF TWO NAÏVE BAYES CLASSIFICATION METHODS IN THE CONTEXT OF SPAM FILTERING

Treating e-mail filtering as a binary text classification problem, researchers have applied several statistical learning algorithms to email corpora with promising results. This paper examines the performance of a Naive Bayes classifier using different approaches to feature selection and tokenization on different email corpora

Indexing without spam

The presence of spam in a document ranking is a major issue for Web search engines. Common approaches that cope with spam remove from the document rankings those pages that are likely to contain spam. These approaches are implemented as post-retrieval processes, that filter out spam pages only after documents have been retrieved with respect to a user’s query. In this paper we suggest to remove spam pages at indexing time, therefore obtaining a pruned index that is virtually “spam-free”. We investigate the benefits of this approach from three points of view: indexing time, index size, and retrieval performances. Not surprisingly, we found that the strategy decreases both the time required by the indexing process and the space required for storing the index. Surprisingly instead, we found that by considering a spam-pruned version of a collection’s index, no difference in retrieval performance is found when compared to that obtained by traditional post-retrieval spam filtering approaches.

Critical analysis of spam prevention techniques

E-mail spam has remained a scourge and menacing nuisance for users, internet and network service operators and providers, in spite of the anti-spam techniques available; and spammers are relentlessly circumventing these anti-spam techniques embedded or installed in form of software products on both client and server sides of both fixed and mobile devices to their advantage. This continuous evasion degrades the capabilities of these anti-spam techniques as none of them provides a comprehensive reliable solution to the problem posed by spam and spammers. Major problem for instance arises when these anti-spam techniques misjudge or misclassify legitimate emails as spam (false positive); or fail to deliver or block spam on the SMTP server (false negative); and the spam passes-on to the receiver, and yet this server from where it originates does not notice or even have an auto alert service to indicate that the spam it was designed to prevent has slipped and moved on to the receiver’s SMTP server; and the receiver’s SMTP server still fail to stop the spam from reaching user’s device and with no auto alert mechanism to inform itself of this inability; thus causing a staggering cost in loss of time, effort and finance. This paper takes a comparative literature overview of some of these anti-spam techniques, especially the filtering technological endorsements designed to prevent spam, their merits and demerits to entrench their capability enhancements, as well as evaluative analytical recommendations that will be subject to further research.

Using Markets and Spam to Combat Malware

We propose an economic mechanism to reduce the incidence of malware that delivers spam. Earlier research proposed attention markets as a solution for unwanted messages, and showed they could provide more net benefit than alternatives such as filtering and taxes. Because it uses a currency system, Attention Bonds faces a challenge. Zombies, botnets, and various forms of malware might steal valuable currency instead of stealing unused CPU cycles. We resolve this problem by taking advantage of the fact that the spam-bot problem has been reduced to financial fraud. As such, the large body of existing work in that realm can be brought to bear. By drawing an analogy between sending and spending, we show how a market mechanism can detect and prevent spam malware. We prove that by using a currency (i) each instance of spam increases the probability of detecting infections, and (ii) the value of eradicating infections can justify insuring users against fraud. This approach attacks spam at the source, a virtue missing from filters that attack spam at the destination. Additionally, the exchange of currency provides signals of interest that can improve the targeting of ads. ISPs benefit from data management services and consumers benefit from the higher average value of messages they receive. We explore these and other secondary effects of attention markets, and find them to offer, on the whole, attractive economic benefits for all – including consumers, advertisers, and the ISPs.

Análisis del uso de las redes neuronales artificiales en el diseño de filtros antispam : una propuesta basada en arquitecturas neuronales no supervisadas

[ES]El spam, o correo no deseado enviado masivamente, es una amenaza que afecta al correo electrónico y otros medios de comunicación telemática. Su alto volumen de circulación genera pérdidas temporales y económicas considerables. Se presenta una solución a este problema: un sistema inteligente híbrido de filtrado antispam, basado en redes neuronales artificiales (RNA) no supervisadas. Consta de una etapa de preprocesado y de otra de procesado, basadas en distintos modelos de computación: programada (con 2 fases: manual y computacional) y neuronal (mediante mapas autoorganizados de Kohonen, SOM), respectivamente. Este sistema ha sido optimizado usando, como cuerpo de datos, ham de “Enron Email” y spam de dos fuentes diferentes. Se analiza la calidad y el rendimiento del mismo mediante diferentes métricas.

L'introduzione dell'e-commerce nel settore fieristico: piano di email marketing e studio di usabilità

L’obiettivo di questa relazione è presentare i risultati raggiunti dalle attività di marketing svolte al fine di promuovere e valutare la piattaforma e-commerce di BF Servizi, azienda che opera come intermediario nella fornitura di servizi all’interno del contesto fieristico di Bologna Fiere. A fine del 2009 BF Servizi ha commissionato a Gecod lo sviluppo di un sistema informativo per le gestione integrata di tutti i processi rilevanti per il business aziendale. A ottobre 2010 viene completato e presentato uno dei moduli previsti dall’intero progetto: la piattaforma e-commerce. Questa si differenzia dagli altri sistemi di commercio online in quanto è stata progettata specificatamente allo scopo di permettere la prenotazione di servizi da parte delle aziende che partecipano alle manifestazioni svolte presso i padiglioni di Bologna Fiere. Le sue particolarità sono quindi sia l’utenza, che configura la creazione di relazioni B2B, sia la tipologia di articoli offerti, non prodotti ma servizi, sia l’ambiente, le fiere svolte a Bologna. A seguito di questo rinnovamento BF Servizi ha ritenuto opportuno adeguare al nuovo contesto anche le proprie tecniche di marketing introducendo, come strumento da usare per la loro attuazione, il web. All’interno dell’organico dell’azienda però non era presente una figura che avesse le competenze per poter integrare, ai normali canali usati per le iniziative di marketing, le opportunità offerte da Internet e che quindi potesse utilizzarle per raggiungere gli obiettivi prefissati per tali attività e cioè la promozione della piattaforma e-commerce e la misurazione del suo gradimento da parte dell’utenza. Le mie conoscenze maturate in ambito universitario hanno apportato quel contributo necessario alla loro realizzazione. La prima decisione è stata la scelta di quale tra le tecniche di web marketing fosse la migliore per le promozione della piattaforma e-commerce di BF Servizi. La disponibilità di un voluminoso numero di indirizzi email dei loro clienti e prospect ed una generale bassa alfabetizzazione informatica degli stessi ha portato a individuare quale soluzione più adeguata la tecnica dell’email marketing. La comunicazione ai clienti per mezzo email era già prevista ma senza che vi fosse ne una pianificazione ne un'analisi dei risultati. Era quindi necessario formalizzare un vero e proprio piano di marketing e successivamente migliorarne le performance. L’assenza di strumenti adeguati alla sua realizzazione ha richiesto che prima venisse svolto un benchmark del settore basato sul confronto di funzionalità, costi e facilità d'uso. Il servizio ESP di Mailchimp è risultato il vincitore in quanto assicurava una maggiore tutela della privacy, una migliore gestione dello spam e strumenti più efficaci per la creazione e l'analisi delle campagne email. Per la valutazione del gradimento della piattaforma e-commerce da parte degli utenti è stato deciso di progettare un’apposita indagine sottoforma di Usability Test e Online Survey. Per il primo è stato necessario l’utilizzo di un apposito servizio per la condivisione dello schermo in quanto in era impossibile far ritrovare il test e l’osservatore nel medesimo luogo. Per l’Online Survey, grazie ad un piccolo Benchmark, è stato deciso di utilizzare SurveyGizmo. All’interno dell’organico dell’azienda non è presente una figura di importanza strategia quale il Web Marketing Manager che abbia la responsabilità di coordinare tutte le attività legate alla vendita o al lancio di un prodotto o di un servizio. L’attività di marketing viene svolta da una figura interna all’azienda (il Responsabile Marketing) che si avvale della collaborazione sia di Gecod, per quanto riguarda l'area informatica, sia di BitBang per quanto riguarda alcune attività di web marketing. La realizzazione delle due attività ha fortemente risentito di questa frammentazione dei compiti, è stato infatti opportuno adeguare le pianificazione alle esigenze di Gecod. Nonostante questo i dati conseguiti dall'attività di email marketing sono stati utili a capire l'efficacia e l'efficienza di questa tecnica nel contesto di BF Servizi. Anche le informazioni raccolte durante l'indagine sono state sufficienti per poter dare un valore all'usabilità della piattaforma e-commerce. La pianificazione iniziale di un piano di email marketing richiede che vengano svolte varie verifiche per valutare la qualità ed inoltre richiede periodo medio-lungo per poter essere reso ottimale. Era quindi già chiaro sin dall'inizio come uno degli obiettivi fosse quello di progettare una buona base su cui apportare successive modifiche. Le prime campagne realizzate sarebbero state utili a ricavare le informazioni necessarie per correggere il piano di marketing. La tipologia di relazione che si instaura tra BF Servizi e i suoi clienti è particolare, la gran parte di essi infatti non vi mantiene un rapporto continuativo durante l’anno ma lo esaurisce in un unico momento poco prima del manifestarsi dell’evento fieristico. L'attenzione dei clienti verso le comunicazioni di BF Servizi è elevata solo in questo periodo e la pianificazione delle campagne ha dovuto tener conto di questo aspetto. Sono state realizzate le campagne solo per gli espositori che partecipavano agli eventi fieristici di Marca 2011, Artefiera 2011 e Fishing Show 2011, cioè le manifestazioni che si sono svolte durante il mio periodo di lavoro in azienda. Le performance delle campagne sono state buone e i dati raccolti hanno permesso di identificare quali siano gli aspetti da migliorare per poter renderle ancora migliori.