Modelo de representação de texto mais adequado à classificação

Mestrado em Engenharia Informática

Automatic email organization

Introdução Actualmente, as mensagens electrónicas são consideradas um importante meio de comunicação. As mensagens electrónicas – vulgarmente conhecidas como emails – são utilizadas fácil e frequentemente para enviar e receber o mais variado tipo de informação. O seu uso tem diversos fins gerando diariamente um grande número de mensagens e, consequentemente um enorme volume de informação. Este grande volume de informação requer uma constante manipulação das mensagens de forma a manter o conjunto organizado. Tipicamente esta manipulação consiste em organizar as mensagens numa taxonomia. A taxonomia adoptada reflecte os interesses e as preferências particulares do utilizador. Motivação A organização manual de emails é uma actividade morosa e que consome tempo. A optimização deste processo através da implementação de um método automático, tende a melhorar a satisfação do utilizador. Cada vez mais existe a necessidade de encontrar novas soluções para a manipulação de conteúdo digital poupando esforços e custos ao utilizador; esta necessidade, concretamente no âmbito da manipulação de emails, motivou a realização deste trabalho. Hipótese O objectivo principal deste projecto consiste em permitir a organização ad-hoc de emails com um esforço reduzido por parte do utilizador. A metodologia proposta visa organizar os emails num conjunto de categorias, disjuntas, que reflectem as preferências do utilizador. A principal finalidade deste processo é produzir uma organização onde as mensagens sejam classificadas em classes apropriadas requerendo o mínimo número esforço possível por parte do utilizador. Para alcançar os objectivos estipulados, este projecto recorre a técnicas de mineração de texto, em especial categorização automática de texto, e aprendizagem activa. Para reduzir a necessidade de inquirir o utilizador – para etiquetar exemplos de acordo com as categorias desejadas – foi utilizado o algoritmo d-confidence. Processo de organização automática de emails O processo de organizar automaticamente emails é desenvolvido em três fases distintas: indexação, classificação e avaliação. Na primeira fase, fase de indexação, os emails passam por um processo transformativo de limpeza que visa essencialmente gerar uma representação dos emails adequada ao processamento automático. A segunda fase é a fase de classificação. Esta fase recorre ao conjunto de dados resultantes da fase anterior para produzir um modelo de classificação, aplicando-o posteriormente a novos emails. Partindo de uma matriz onde são representados emails, termos e os seus respectivos pesos, e um conjunto de exemplos classificados manualmente, um classificador é gerado a partir de um processo de aprendizagem. O classificador obtido é então aplicado ao conjunto de emails e a classificação de todos os emails é alcançada. O processo de classificação é feito com base num classificador de máquinas de vectores de suporte recorrendo ao algoritmo de aprendizagem activa d-confidence. O algoritmo d-confidence tem como objectivo propor ao utilizador os exemplos mais significativos para etiquetagem. Ao identificar os emails com informação mais relevante para o processo de aprendizagem, diminui-se o número de iterações e consequentemente o esforço exigido por parte dos utilizadores. A terceira e última fase é a fase de avaliação. Nesta fase a performance do processo de classificação e a eficiência do algoritmo d-confidence são avaliadas. O método de avaliação adoptado é o método de validação cruzada denominado 10-fold cross validation. Conclusões O processo de organização automática de emails foi desenvolvido com sucesso, a performance do classificador gerado e do algoritmo d-confidence foi relativamente boa. Em média as categorias apresentam taxas de erro relativamente baixas, a não ser as classes mais genéricas. O esforço exigido pelo utilizador foi reduzido, já que com a utilização do algoritmo d-confidence obteve-se uma taxa de erro próxima do valor final, mesmo com um número de casos etiquetados abaixo daquele que é requerido por um método supervisionado. É importante salientar, que além do processo automático de organização de emails, este projecto foi uma excelente oportunidade para adquirir conhecimento consistente sobre mineração de texto e sobre os processos de classificação automática e recuperação de informação. O estudo de áreas tão interessantes despertou novos interesses que consistem em verdadeiros desafios futuros.

Desenvolvimento de métodos rápidos para deteção de drogas no meio aquático

A vasta aplicação de antibióticos em sistemas de aquacultura tem conduzido ao aparecimento de espécies microbianas resistentes, devendo ser evitada ou, se possível, minimizada. A minimização implica um controlo muito rigoroso das doses aplicadas, algo que só pode ser realizado se todo o processo analítico for simples, barato e puder ser implementado no local. O presente trabalho descreve para este efeito um sistema sensor constituído por papel quimicamente modificado, cujo procedimento analítico foi semelhante à monitorização de pH através das conhecidas tiras indicadoras de pH universal. O papel foi modificado com base em reacções de monocamadas e assumiu uma coloração típica após contacto com o antibiótico. A intensidade da coloração estava também relacionada com a concentração desse antibiótico. Como prova deste conceito, o sensor proposto foi desenhado tendo em vista a monitorização de oxitetraciclina, um dos antibióticos utilizados neste contexto com elevada frequência. A modificação do papel foi baseada na alteração química das unidades de glucose na matriz sólida por reacção covalente com reagentes apropriados. Foram utilizadas duas estratégias diferentes para este efeito: uma foi baseada em reacções de tipo sol-gel e a outra em reacção de adição nucleófila. Posteriormente, o papel foi modificado com espécies metálicas capazes de mudar de cor na presença da oxitetraciclina. Estas modificações químicas foram avaliadas e optimizadas relativamente a vários parâmetros, no sentido de promover uma variação de cor intensa face à concentração de antibiótico. Procedeu-se ainda ao controlo desta modificação por técnicas de espectroscopia de infravermelho. A variação de cor foi avaliada por comparação visual, mas registada por imagem digital. Os materiais sensores preparados foram ainda caracterizados do ponto de vista do seu desempenho analítico. Incluíram-se aqui a identificação de uma relação linear entre coordenadas de cor e concentração, a atribuição de uma gama de concentrações capaz de fornecer uma resposta previsível e resposta cruzada face a outros antibióticos. Procedeu-se ainda à aplicação dos sensores numa amostra de água ambiental dopada com antibiótico. De uma forma geral, foi possível estabelecer um processo simples de modificação de papel capaz de aferir a presença e a quantidade de tetraciclinas, mais concretamente a oxitetraciclina. O processo aqui estabelecido é promissor, antevendo a concretização de uma metodologia simples, barata e local para a monitorização de anitbióticos em águas.

Análise estatística do preço da energia elétrica em mercado livre - Uma aplicação ao caso português

Neste relatório apresentam-se resultados de um estudo estatístico que procura contribuir para um melhor entendimento da problemática inerente à liberalização do setor elétrico em Portugal e dos desafios que esta liberalização, existente desde meados de 2007, trás aos seus intervenientes. Iniciam-se os trabalhos com um estudo que pretende avaliar a existência de relação entre o Preço de Mercado da eletricidade e um conjunto de variáveis potencialmente explicativas/condicionantes do Preço de Mercado. Neste estudo consideram-se duas abordagens. A primeira usa a função de correlação cruzada para avaliar a existência de relação do tipo linear entre pares de variáveis. A segunda considera o teste causalidade de Granger na avaliação de uma relação de causa e efeito entre esses pares. Este estudo avaliou a relação entre o Preço de Mercado da eletricidade e 19 variáveis ditas condicionantes distribuídas por três categorias distintas (consumo e produção de eletricidade; indicadores climáticos; e energias primárias). O intervalo de tempo em estudo cinge-se ao biénio 2012-2103. Durante este período avaliam-se as relações entre as variáveis em diversos sub-períodos de tempo em ciclos de consumo representativos do consumo em baixa (fim de semana) e de consumo mais elevado (fora de vazio) com os valores observados de cada uma das variáveis tratados com uma base horária e diária (média). Os resultados obtidos mostram a existência relação linear entre algumas das variáveis em estudo e o preço da eletricidade em regime de mercado liberalizado, mas raramente é possível identificar precedência temporal entre as variáveis. Considerando os resultados da análise de correlação e causalidade, apresenta-se ainda um modelo de previsão do Preço de Mercado para o curto e médio prazo em horas de período fora de vazio.