Desarrollo de un sistema de arañas inteligentes para la extracción de datos de empresas

El presente proyecto de fin de grado es uno de los resultados generados en un proyecto de financiación privada por parte de Telefónica consistente en el desarrollo y posterior implantación de un sistema para minería de datos de empresas presentes en Internet. Este TFG surge a partir de un proyecto que el grupo de investigación AICU-LABS (Mercator) de la UPM ha desarrollado para Telefónica, y tiene como elemento principal el desarrollo de Agentes web (también llamados robots software, “softbots” o “crawlers”) capaces de obtener datos de empresas a partir de sus CIF a través de internet. El listado de empresas nos los proporciona Telefónica, y está compuesto por empresas que no son clientes de Telefónica en la actualidad. Nuestra misión es proporcionarles los datos necesarios (principalmente teléfono, correo electrónico y dirección de la empresa) para la creación de una base de datos de potenciales clientes. Para llevar a cabo esta tarea, se ha realizado una aplicación que, a partir de los CIF que nos proporcionan, busque información en internet y extraiga aquella que nos interese. Además se han desarrollado sistemas de validación de datos para ayudarnos a descartar datos no válidos y clasificar los datos según su calidad para así maximizar la calidad de los datos producidos por el robot. La búsqueda de datos se hará tanto en bases de datos online como, en caso de localizarlas, las propias páginas web de las empresas. ABSTRACT This Final Degree Project is one of the results obtained from a project funded by Telefónica. This project consists on the development and subsequent implantation of a system which performs data mining on companies operating on the Internet. This document arises from a project the research group AICU-LABS (Mercator) from the Universidad Politécnica de Madrid has developed for Telefónica. The main goal of this project is the creation of web agents (also known as “crawlers” or “web spiders”) able to obtain data from businesses through the Internet, knowing only their VAT identification number. The list of companies is given by Telefónica, and it is composed by companies that are not Telefónica’s customers today. Our mission is to provide the data required (mainly phone, email and address of the company) to create a database of potential customers. To perform this task, we’ve developed an application that, starting with the given VAT numbers, searches the web for information and extracts the data sought. In addition, we have developed data validation systems, that are capable of discarding low quality data and also sorting the data according to their quality, to maximize the quality of the results produced by the robot. We’ll use both the companies’ websites and external databases as our sources of information.

The effectiveness of corporate Web in small and médiumsized business: an analysis of Web Usability

Internet and the Web have changed the way that companies communicate with their publics, improving relations between them. Also providing substantial benefits for organizations. This has led to small and medium enterprises (SMEs) to develop corporate sites to establish relationships with their audiences. This paper, applying the methodology of content analysis, analyzes the main factors and tools that make the Websites usable and intuitive sites that promote better relations between SMEs and their audiences. Also, it has developed an index to measure the effectiveness of Webs from the perspective of usability. The results indicate that the Websites have, in general, appropriate levels of usability.

Métodos de evaluación, mantenimiento y reutilización de páginas 'wiki' educativas de acceso abierto

El propósito de este proyecto ha sido el desarrollo y la consolidación de la manera en que los docentes gestionamos las denominadas ‘wikis’, páginas web autoeditables que varias asignaturas universitarias utilizan ya como recursos docentes abiertos y colaborativos. Concretamente nos centramos en los tres aspectos más relevantes de dicha gestión: la evaluación de la utilidad de estos recursos, su mantenimiento para que permanezcan funcionales y relevantes para nuestro alumnado, y la reutilización de contenidos entre recursos similares del mismo o de distintos proyectos educativos. Este Proyecto de Innovación y Mejora de la Calidad Docente (PIMCD) aporta continuidad a un proyecto anterior denominado “Implementación de wikis educativas de acceso abierto con amplia diversidad de contenidos en inglés y castellano”, realizado durante el curso 2014-2015, con el identificador 368. Se trata de una iniciativa a largo plazo en la que un grupo amplio de docentes de la Universidad Complutense de Madrid estamos tratando de explorar todo el potencial de las aplicaciones web colaborativas para fomentar el aprendizaje cooperativo y mejorar la participación de los estudiantes en su formación, a la par que aumentar su motivación intrínseca por la generación y transmisión de conocimiento.

Plataforma de desenvolvimento de aplicações web orientadas a mensagens

O projecto apresentado neste relatório consiste na implementação de uma plataforma de desenvolvimento de aplicações Web orientada a mensagens, capaz de facilitar a construção de páginas Web e de automatizar o acesso a dados com base nos requisitos do problema. O foco da solução é baseado nos requisitos que forem definidos, de modo a desenvolver uma aplicação Web que responda a esses requisitos. A estratégia adoptada visa reduzir o acoplamento e aumentar a coesão dos módulos funcionais. Para reduzir o acoplamento e aumentar a coesão dos módulos funcionais separou-se a apresentação dos dados, permitindo assim que o desenvolvimento e os testes sejam realizados independentemente um do outro. O desenvolvimento é baseado em normas padronizadas (standards) de modo a facilitar a integração com outras tecnologias. Para o desenvolvimento do trabalho foi adoptada uma metodologia ágil. A gestão de projecto foi realizada com recurso a uma plataforma de gestão de projecto, que permitiu registar e organizar todas as informações e tarefas realizadas ao longo do projecto. Após a conclusão da plataforma e como caso de estudo, foi realizada uma aplicação baseada num cenário real de gestão académica (Portal Académico) para aferir os conceitos envolvidos.

MediaAccess - componentes para acesso a informação multimédia na web

Dissertação apresentada na Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa para obtenção do grau de Mestre em Engenharia Informática

Web marketing: desenvolvimento de uma presença online para uma unidade hoteleira – Projeto Oporto Invictus Hostel

O hotel, para muitos autores, tem como função oferecer abrigo para quem está distante da sua casa e atender às suas necessidades básicas. A hotelaria tem como função básica alojar as pessoas que estão longe da sua residência e que precisam de um quarto com uma cama para dormir e uma casa de banho (Duarte, 1996). Para Beni (2003), um hotel, além de ter a função básica de alojar, tem uma característica que nenhum outro estabelecimento comercial possui, que é o facto de o consumidor se deslocar até ao hotel para poder utilizar os serviços disponíveis. Outra característica muito especifica da atividade hoteleira, é o facto de o atendimento ser o mais importante na hora da prestação do serviço. O Hostel é uma designação muito usada atualmente como sinónimo de albergue. É um tipo de unidade hoteleira que se caracteriza pelos preços convidativos e pela possibilidade de socialização dos hóspedes, onde cada hóspede pode arrendar uma cama ou beliche, num dormitório partilhado, com casa de banho, lavandaria e, por vezes, cozinha, também em regime partilhado. Os Hostels são geralmente económicos praticando preços intitulados low-­‐cost. Definir uma estratégia para a Internet é hoje um imperativo para qualquer organização que pretenda utilizar este canal de comunicação para promover a sua atividade. As unidades hoteleiras também não são exceção; a necessidade de comunicar com os públicos alvo no sentido de aumentarem a captação de turistas exige uma presença na Internet que consiga simultaneamente informar e motivar à escolha pelos serviços prestados. A Internet evidencia um incontornável potencial informativo e comunicativo em questões de rapidez de circulação: número de pessoas que atinge e áreas geográficas que abarca; e devido às suas características de imaterialidade, instantaneidade e multimédia, democratiza o acesso à informação e a determinados tipos de bens, facilita a comunicação entre pessoas e instituições e universaliza as oportunidades, eliminando as barreiras espaciais, geográficas e temporais (Balsa, 2007). Rapidamente as unidades hoteleiras se aperceberam das vantagens e potencialidades da Internet: rápida, imediata, económica, integrada no dia-­‐a-­‐dia de trabalho e lazer e acessível a um cada vez maior número de pessoas. A nível geral, mas com especial incidência no caso das unidades hoteleiras, a Internet apresenta inúmeras vantagens ao nível da estruturação da informação em bases de dados e da sua apresentação dinâmica, tirando partido da inclusão de objetos multimédia em páginas HTML. Os objetos multimédia podem incluir áudio, vídeo,animações em tecnologia Flash e mesmo animações 3D tornando a visita a um sítio Web com este tipo de conteúdos, uma experiência muito gratificante. Por sua vez, a interatividade, característica do próprio funcionamento das páginas Web, facilita a interação entre a unidade hoteleira e o visitante. A interatividade permite ou facilita uma relação ativa entre o utilizador e o hotel. O utilizador passa de espectador passivo a interveniente ativo no processo de consulta da informação. Na web, os avanços tecnológicos têm sido constantes. Em 1980, Alvin Toffler’s no seu bestseller ‘The Third Wave’ previu um novo tipo de consumidor a quem chamou de ‘prosumer’ e que seria um misto de DIY (do-­it-­yourself) produtor e consumidor em mercados offline (Toffler, 1980). Foi sem dúvida de uma grande visão, mas sem os recentes avanços na web e nas tecnologias digitais, a maioria dos utilizadores não poderia ter dado o salto de espectador passivo para ator que participa ativamente na construção da web (Shuen, 2008). O aparecimento das redes sociais que permitem criar comunidades com interesses afins, o desenvolvimento de plataformas como o Youtube.com para a partilha de vídeos, a vulgarização de plataformas como o flickr.com para a partilha de imagens constituíram marcos determinantes para aquilo a que se designa por WEB 2.0 (tecnologia do século XXI). Enquanto no tempo da WEB 1.0 (tecnologia dos anos 90) os sites eram essencialmente estáticos e a interatividade não era levada aos limites, agora com a WEB 2.0 é possível construir modelos de negócio com conteúdos mais ricos simulando, com muito maior realismo, em ambientes virtuais, o que se passa em ambientes reais. Os sítios Web das unidades hoteleiras estão a evoluir rapidamente para um modelo que contemple as potencialidades da WEB 2.0 Tendo em consideração a importância das unidades hoteleiras no panorama do turismo, a relevância da Internet como meio de comunicação entre as instituições e os cidadãos e a necessidade das unidades hoteleiras disporem de uma estratégia de comunicação digital para difundir as suas valências e atividades, entendemos justificar-­se fazer uma revisão da literatura onde: procuraremos compreender a importância do turismo na sociedade atual assim como, o impacto das novas tecnologias da informação em atividades relacionadas com o turismo e ainda, procuraremos perceber quais os canais de comunicação digital que estão ao dispor dos profissionais de turismo, nomeadamente os gestores de unidades hoteleiras, para promover os seus serviços. O objetivo principal deste trabalho consiste em mostrar como foi desenvolvido uma estratégia de comunicação digital para promover online uma unidade hoteleira low cost, no caso presente o Oporto Invictus Hostel. Trata­‐se de um projeto integrado em que não só se criaram as diferentes peças de comunicação como se definiu e aplicou uma estratégia promocional com vista à divulgação do Hostel. O projeto apresentado evidencia como é possível, com recursos limitados, criar um sistema integrado de comunicação digital online que promova uma pequena unidade hoteleira, de forma a dar-­‐lhe visibilidade tanto a nível nacional como internacional. O projeto está dividido em cinco partes. Numa primeira parte é feita a apresentação do briefing que resultou de uma primeira reunião com o cliente. Numa segunda parte apresenta­‐se a fase de planeamento relativa ao desenvolvimento do projeto. Numa terceira parte descreve-­se o processo de implementação do projeto. Na quarta fase abordam-se os testes funcionais e na quinta e última fase faz-­se referencia a aspetos relacionados com a conclusão do projeto.

Localização da página web da VisionSpace – do inglês ao francês

Trabalho de Projeto apresentado ao Instituto de Contabilidade e Administração do Porto para a obtenção do grau de Mestre em Tradução e Interpretação Especializadas, sob orientação do Doutor Manuel Moreira da Silva e coorientação da Mestre Isabelle Tulekian

População e Enriquecimento de Ontologias através de Web Scraping

O surgir da World Wide Web providenciou aos utilizadores uma série de oportunidades no que diz respeito ao acesso a dados e informação. Este acesso tornou-se um ato banal para qualquer utilizador da Web, tanto pelo utilizador comum como por outros mais experientes, tanto para obter informações básicas, como outras informações mais complexas. Todo este avanço tecnológico permitiu que os utilizadores tivessem acesso a uma vasta quantidade de informação, dispersa pelo globo, não tendo, na maior parte das vezes, a informação qualquer tipo de ligação entre si. A necessidade de se obter informação de interesse relativamente a determinado tema, mas tendo que recorrer a diversas fontes para obter toda a informação que pretende obter e comparar, torna-se um processo moroso para o utilizador. Pretende-se que este processo de recolha de informação de páginas web seja o mais automatizado possível, dando ao utilizador a possibilidade de utilizar algoritmos e ferramentas de análise e processamento automáticas, reduzindo desta forma o tempo e esforço de realização de tarefas sobre páginas web. Este processo é denominado Web Scraping. Neste trabalho é descrita uma arquitetura de sistema de web scraping automático e configurável baseado em tecnologias existentes, nomeadamente no contexto da web semântica. Para tal o trabalho desenvolvido analisa os efeitos da aplicação do Web Scraping percorrendo os seguintes pontos: • Identificação e análise de diversas ferramentas de web scraping; • Identificação do processo desenvolvido pelo ser humano complementar às atuais ferramentas de web scraping; • Design duma arquitetura complementar às ferramentas de web scraping que dê apoio ao processo de web scraping do utilizador; • Desenvolvimento dum protótipo baseado em ferramentas e tecnologias existentes; • Realização de experiências no domínio de aplicação de páginas de super-mercados portugueses; • Analisar resultados obtidos a partir destas.

Promoção da autonomia dos alunos na aprendizagem de programação para a WEB

Relatório de estágio de mestrado em Ensino de Informática

A comunicação online: a página Web como o BIO Empresarial: estratégias de comunicação visual e web design

Dissertação de mestrado em Ciências da Comunicação (área de especialização em Audiovisuais e Multimédia)

Aplicació web de notícies

Aquesta memòria tracta sobre el procediment de creació d’una aplicació web de notícies. Està dividida en 3 zones, una on usuaris amb permisos d’administració poden penjar notícies per ser visualitzades per tothom, una altra que s’hi accedeix si s’és usuari registrat i permet visualitzar noticies d’altres servidors mitjançant el format de dades RSS, i un tercer apartat de gestió administrativa, incorporar noves notícies, modificar-ne de presents o introduir noves pàgines web que continguin notícies. Els usuaris registrats podran seleccionar el diaris dels quals rebran informació, així com especificar quines temàtiques prefereixen en la cerca de notícies.

Estudio sobre la información de texto contenida en imágenes web

La indexació i la recerca de pàgines web es basa en l’anàlisi de text. La tecnologia actual encara no pot processar d’una manera eficient i suficientment ràpida el text contingut a les imatges de les pàgines web. Aquest fet planteja un problema important d’indexació però també d’inaccessibilitat. Per poder quantificar aquest problema hem desenvolupat una aplicació software que ens permet realitzar un estudi sobre aquesta situació. Hem utilitzat aquest software per analitzar un conjunt de pàgines web representatives de la situació actual a Internet. Aquests resultats obtinguts s’han analitzat i comparat amb estudis anteriors.

TFC - Accesibilidad web

Estudio de 10 webs del portal uoc.edu, basado en las pautas de accesibilidad web W3C

Estudio de la accesibilidad web en la Universitat Oberta de Catalunya

En la relación de la UOC con sus alumnos a través de un medio electrónico, hay que tener en cuenta algunas variables que pueden llegar a ser, y de hecho son, una barrera infranqueable en el acceso al contenido de los sitios web. Este trabajo describe estas barreras y los medios para evitarlas a través de un análisis del diseño del site UOC teniendo en cuenta en todo momento las normas WCAG 1.0 y WCAG 2.0.

Trabajo final de carrera : accesibilidad web

Evaluación manual de 10 páginas web siguiendo la pautas WCAG 1.0 y WCAG 2.0.