Information theoretic measures of UHG graphs with low computational complexity

We introduce a novel graph class we call universal hierarchical graphs (UHG) whose topology can be found numerously in problems representing, e.g., temporal, spacial or general process structures of systems. For this graph class we show, that we can naturally assign two probability distributions, for nodes and for edges, which lead us directly to the definition of the entropy and joint entropy and, hence, mutual information establishing an information theory for this graph class. Furthermore, we provide some results under which conditions these constraint probability distributions maximize the corresponding entropy. Also, we demonstrate that these entropic measures can be computed efficiently which is a prerequisite for every large scale practical application and show some numerical examples. (c) 2007 Elsevier Inc. All rights reserved.

Detecting Deception in Movement: The Case of the Side-Step in Rugby

Although coordinated patterns of body movement can be used to communicate action intention, they can also be used to deceive. Often known as deceptive movements, these unpredictable patterns of body movement can give a competitive advantage to an attacker when trying to outwit a defender. In this particular study, we immersed novice and expert rugby players in an interactive virtual rugby environment to understand how the dynamics of deceptive body movement influence a defending player’s decisions about how and when to act. When asked to judge final running direction, expert players who were found to tune into prospective tau-based information specified in the dynamics of ‘honest’ movement signals (Centre of Mass), performed significantly better than novices who tuned into the dynamics of ‘deceptive’ movement signals (upper trunk yaw and out-foot placement) (p<.001). These findings were further corroborated in a second experiment where players were able to move as if to intercept or ‘tackle’ the virtual attacker. An analysis of action responses showed that experts waited significantly longer before initiating movement (p<.001). By waiting longer and picking up more information that would inform about future running direction these experts made significantly fewer errors (p<.05). In this paper we not only present a mathematical model that describes how deception in body-based movement is detected, but we also show how perceptual expertise is manifested in action expertise. We conclude that being able to tune into the ‘honest’ information specifying true running action intention gives a strong competitive advantage.

Design and Practice in Architectural Theory Education

Benefiting from design in theory learning is not common in architecture schools. The general practice is to design in studio and to theorise in lectures. In the undergraduate module History and Theory in Architecture II at Queen’s University Belfast, students attend interactive lectures, participate in reading group discussions, design TextObjects, and write essays. TextObjects contain textual, audio and/or graphic representations that highlight a single concept or a complex set of issues derived from readings. Students experiment with diverse media, such as filmmaking, photography, and graphic design, some of which they experience for the first time. Lectures and readings revolve around theories of architectural representation, media and communication, which are practiced through TextObjects. This is a new way to link theory and practice in architectural education. Through action research, this study analyses this innovative teaching method called TextObject, which brings design and practice into architectural theory education to stimulate students towards critical thinking. The pedagogical research of architectural theoretician Necdet Teymur (1992, 1996, 2002) underlies the study.

Living is Information Processing: From Molecules to Global Systems

We extend the concept that life is an informational phenomenon, at every level of organisation, from molecules to the global ecological system. According to this thesis: (a) living is information processing, in which memory is maintained by both molecular states and ecological states as well as the more obvious nucleic acid coding; (b) this information processing has one overall function-to perpetuate itself; and (c) the processing method is filtration (cognition) of, and synthesis of, information at lower levels to appear at higher levels in complex systems (emergence). We show how information patterns, are united by the creation of mutual context, generating persistent consequences, to result in 'functional information'. This constructive process forms arbitrarily large complexes of information, the combined effects of which include the functions of life. Molecules and simple organisms have already been measured in terms of functional information content; we show how quantification may be extended to each level of organisation up to the ecological. In terms of a computer analogy, life is both the data and the program and its biochemical structure is the way the information is embodied. This idea supports the seamless integration of life at all scales with the physical universe. The innovation reported here is essentially to integrate these ideas, basing information on the 'general definition' of information, rather than simply the statistics of information, thereby explaining how functional information operates throughout life. © 2013 Springer Science+Business Media Dordrecht.

Using Graphs to Visualise and Detect Anomalies in Access Control System Transactions

Physical Access Control Systems are commonly used to secure doors in buildings such as airports, hospitals, government buildings and offices. These systems are designed primarily to provide an authentication mechanism, but they also log each door access as a transaction in a database. Unsupervised learning techniques can be used to detect inconsistencies or anomalies in the mobility data, such as a cloned or forged Access Badge, or unusual behaviour by staff members. In this paper, we present an overview of our method of inferring directed graphs to represent a physical building network and the flows of mobility within it. We demonstrate how the graphs can be used for Visual Data Exploration, and outline how to apply algorithms based on Information Theory to the graph data in order to detect inconsistent or abnormal behaviour.

Entanglement properties of spin models in triangular lattices

The different quantum phases appearing in strongly correlated systems as well as their transitions are closely related to the entanglement shared between their constituents. In 1D systems, it is well established that the entanglement spectrum is linked to the symmetries that protect the different quantum phases. This relation extends even further at the phase transitions where a direct link associates the entanglement spectrum to the conformal field theory describing the former. For 2D systems much less is known. The lattice geometry becomes a crucial aspect to consider when studying entanglement and phase transitions. Here, we analyze the entanglement properties of triangular spin lattice models by also considering concepts borrowed from quantum information theory such as geometric entanglement.

Towards a general framework for information fusion

Depending on the representation setting, different combination rules have been proposed for fusing information from distinct sources. Moreover in each setting, different sets of axioms that combination rules should satisfy have been advocated, thus justifying the existence of alternative rules (usually motivated by situations where the behavior of other rules was found unsatisfactory). These sets of axioms are usually purely considered in their own settings, without in-depth analysis of common properties essential for all the settings. This paper introduces core properties that, once properly instantiated, are meaningful in different representation settings ranging from logic to imprecise probabilities. The following representation settings are especially considered: classical set representation, possibility theory, and evidence theory, the latter encompassing the two other ones as special cases. This unified discussion of combination rules across different settings is expected to provide a fresh look on some old but basic issues in information fusion.

Performance assessment of cascade control loopswith non-Gaussian disturbances using entropy information

Cascade control is one of the routinely used control strategies in industrial processes because it can dramatically improve the performance of single-loop control, reducing both the maximum deviation and the integral error of the disturbance response. Currently, many control performance assessment methods of cascade control loops are developed based on the assumption that all the disturbances are subject to Gaussian distribution. However, in the practical condition, several disturbance sources occur in the manipulated variable or the upstream exhibits nonlinear behaviors. In this paper, a general and effective index of the performance assessment of the cascade control system subjected to the unknown disturbance distribution is proposed. Like the minimum variance control (MVC) design, the output variances of the primary and the secondary loops are decomposed into a cascade-invariant and a cascade-dependent term, but the estimated ARMA model for the cascade control loop based on the minimum entropy, instead of the minimum mean squares error, is developed for non-Gaussian disturbances. Unlike the MVC index, an innovative control performance index is given based on the information theory and the minimum entropy criterion. The index is informative and in agreement with the expected control knowledge. To elucidate wide applicability and effectiveness of the minimum entropy cascade control index, a simulation problem and a cascade control case of an oil refinery are applied. The comparison with MVC based cascade control is also included.

Gorgonians of the South of Portugal: biology, ecology and conservation

O papel ecológico das gorgónias (Octocorallia: Alcyonacea) nos fundos marinhos rochosos é mundialmente reconhecido. Contudo, a informação acerca da ecologia e biologia das espécies de gorgónias nas zonas temperadas do NE Atlântico é manifestamente escassa, especialmente tendo em consideração as actuais perturbações globais, regionais e locais. Nos fundos rochosos da costa algarvia até aos 30 m, verificouse que várias espécies de gorgónias são abundantes e frequentes, nomeadamente Eunicella labiata, Eunicella gazella, Eunicella verrucosa, Leptogorgia lusitanica e Leptogorgia sarmentosa. As populações de gorgónias são co-dominadas por diferentes espécies que apresentaram elevados índices de associação, indicando reduzidos níveis de competição entre elas. Em todo o caso, a estrutura dos povoamentos diferiu com as condições locais. Todas as espécies evidenciaram padrões de distribuição semelhantes ao longo do gradiente de profundidade, i.e. a abundância aumenta significamente com a profundidade após os 15 m. A profundidades mais baixas (até aos 15 m), a distribuição das gorgónias parece ser condicionada por factores abióticos e pela competição com algas. Com efeito, os padrões de distribuição espacial das espécies de gorgónias na costa algarvia são determinados pela interacção de pressões naturais e antropogénicas (ex. pesca). Ainda que as colónias de maior tamanho não tenham sido restritas a áreas menos pescadas, em áreas mais perturbadas pela pesca, a distribuição dos tamanhos das colónias estava maioritariamente desviada para tamanhos mais pequenos. Os efeitos das perturbações naturais nas populações de gorgónias foram evidenciados pela ocorrência de padrões demográficos distintos em áreas vizinhas sujeitas a níveis semelhantes de pressões antropogénicas. Estes estudos demonstraram, ainda, que os efeitos na distribuição de frequências de tamanho das colónias são dependentes das espécies de gorgónias em causa: Eunicella labiata não parece ser afectada; Leptogorgia sarmentosa é tendencialmente afectada por pressões antropogénicas; Eunicella gazella e Leptogorgia lusitanica aparentam ser afectadas, quer por pressões naturais, quer por pressões antropogénicas. Os efeitos verificados nos padrões da distribuição de frequências de tamanho, particularmente a tendência para o desvio destas frequências para tamanhos mais pequenos em áreas sujeitas a perturbações, poderão ter consequências para a biodiversidade dos fundos sublitorais rochosos na costa algarvia. Com efeito, o presente estudo apoia o paradigma geral de que os corais são habitats que suportam comunidades de elevada biodiversidade e abundância. Num dos poucos estudos que examinam a relação entre as gorgónias e as suas comunidades de invertebrados epibentónicos, foi verificado que as gorgónias (Eunicella gazella e Leptogorgia lusitanica) sustentam comunidades ricas (11 phyla, 181 taxa) e abundantes (7284 indivíduos). Estas comunidades são dominadas por anfípodes, mas os poliquetas tiveram um grande contributo para os níveis elevados de biodiversidade. Verificou-se, igualmente, que o tamanho da colónia desempenha um papel fundamental na biodiversidade, na medida em que as colónias de menor tamanho apresentaram um contributo mais baixo, comparativamente às médias e grandes. Ainda que ambas as gorgónias partilhem a maioria das espécies amostradas, 11 e 18 taxa foram exclusivos de Eunicella gazella e Leptogorgia lusitanica, respectivamente (excluindo indivíduos com presenças únicas). No entanto, a maioria destes taxa eram ou pouco abundantes ou pouco frequentes. A excepção foi a presença de planárias (Turbellaria) de coloração branca nas colónias de Eunicella gazella, provavelmente beneficiando do efeito de camuflagem proporcionado pelos ramos com a mesma coloração. Com efeito, a complementaridade entre as comunidades epibentónicas associadas a ambas as gorgónias diminuiu quando usados os dados de presença/ausência, sugerindo que os padrões de biodiversidade são mais afectados pelas alterações na abundância relativa das espécies dominantes do que pela composição faunística. As comunidades de epifauna bentónica associadas a estas gorgónias não só apresentaram valores elevados de ®-diversidade, como de ¯- diversidade, resultantes de padrões intrincados de variabilidade na sua composição e estrutura. Ainda que o conjunto de espécies disponíveis para colonização seja, na generalidade, o mesmo para ambos os locais, cada colónia apresenta uma parte deste conjunto. Na sua totalidade, as colónias de gorgónias poderão funcionar como uma metacomunidade, mas a estrutura das comunidades associadas a cada colónia (ex. número total de espécies e abundância) parecem depender dos atributos da colónia, nomeadamente superfície disponível para colonização (altura, largura e área), complexidade e heterogeneidade (dimensão fractal e lacunaridade, respectivamente) e cobertura epibentónica “colonial” (ex. fauna colonial e algas macroscópicas; CEC). Numa primeira tentativa para quantificar a relação entre as gorgónias e os invertebrados epibentónicos a elas associados (em termos de abundância e riqueza específica), verificou-se que a natureza e a intensidade destas relações dependem da espécie hospedeira e variam para os grupos taxonómicos principais. No entanto, independentemente do grupo taxonómico, a riqueza específica e a abundância estão significativamente correlacionadas com a CEC. Com efeito, a CEC provavelmente devido a um efeito trófico (aumento da disponibilidade alimentar directo ou indirecto), combinado com a superfície disponível para colonização (efeito espécies-área) foram as variáveis mais relacionadas com os padrões de abundância e riqueza específica. Por outro lado, ainda que a complexidade estrutural seja frequentemente indicada como um dos factores responsáveis pela elevada diversidade e abundância das comunidades bentónicas associadas a corais, a dimensão fractal e a lacunaridade apenas foram relevantes nas comunidades associadas a Leptogorgia lusitanica. A validade do paradigma que defende que a complexidade estrutural promove a biodiversidade poderá ser, então, dependente da escala a que se realizam os estudos. No caso das gorgónias, o efeito da complexidade ao nível dos agregados de gorgónias poderá ser muito mais relevante do que ao nível da colónia individual, reforçando a importância da sua conservação como um todo, por forma a preservar a diversidade de espécies hospedeiras, o seu tamanho e estrutura. Actividades antropogénicas como a pesca, podem, ainda, ter efeitos negativos ao nível da reprodução de espécies marinhas. Analogamente ao verificado para os padrões de distribuição espacial das populações de gorgónias na costa algarvia, a informação relativa à sua reprodução é igualmente escassa. Os estudos realizados em populações de Eunicella gazella a 16m de profundidade, demonstraram que o desenvolvimento anual das estruturas reprodutivas é altamente sincronizado entre os sexos. A razão entre sexos na população foi de 1.09 (F:M), encontrando-se perto da paridade. A espermatogénese estende-se por 6 a 8 meses, enquanto que a oogénese é mais demorada, levando mais de um ano para que os oócitos se desenvolvam até estarem maduros. Antes da libertação dos gâmetas, foi observada uma elevada fecundidade nas fêmeas (27.30§13.24 oócitos pólipo−1) e nos machos (49.30§31.14 sacos espermáticos pólipo−1). Estes valores encontram-se entre os mais elevados reportados à data para zonas temperadas. A libertação dos gâmetas (não há evidência de desenvolvimento larvar, nem à superfície da colónia, nem no seu interior) occorre em Setembro/ Outubro, após um período de elevada temperatura da água do mar. As fêmeas emitem oócitos maduros de elevadas dimensões, retendo, todavia, os oócitos imaturos que se desenvolvem apenas na época seguinte. Ainda que o efeito da pesca nas populações de gorgónias da costa do Algarve seja perceptível, às taxas actuais, o mergulho recreativo não aparenta afectar seriamente estas populações. Contudo, sendo uma indústria em expansão e conhecendo-se a preferência de mergulhadores por áreas rochosas naturais ricas em espécies bentónicas, futuramente poderá vir a afectar estes habitats. A monitorização de mergulhadores na costa algarvia mostrou que a sua maioria (88.6 %) apresenta comportamentos que podem impactar o habitat, com uma taxa média de contactos de 0.340§0.028 contactos min−1. Esta taxa foi mais elevada em mergulhadores com moderada experiência e na fase inicial do mergulho (0–10 min). Os contactos com as barbatanas e mãos foram comuns, resultando, maioritariamente, na resuspensão do sedimento, mas geralmente apresentando um impacto reduzido. Todavia, a fauna também foi afectada, quer por danos físicos, quer pela interacção com os mergulhadores, e num cenário de expansão significativa desta actividade, os impactos na fauna local poderão aumentar, com consequências para os ecossistemas de fundos rochosos da costa sul de Portugal. Na sua globalidade, a informação recolhida nos estudos que contemplam esta tese, por ser em grande parte totalmente nova para a região, espera-se que contribua para a gestão da zona costeira do Algarve.

Contributions to the theory of maximum entropy estimation for ill-posed models

As técnicas estatísticas são fundamentais em ciência e a análise de regressão linear é, quiçá, uma das metodologias mais usadas. É bem conhecido da literatura que, sob determinadas condições, a regressão linear é uma ferramenta estatística poderosíssima. Infelizmente, na prática, algumas dessas condições raramente são satisfeitas e os modelos de regressão tornam-se mal-postos, inviabilizando, assim, a aplicação dos tradicionais métodos de estimação. Este trabalho apresenta algumas contribuições para a teoria de máxima entropia na estimação de modelos mal-postos, em particular na estimação de modelos de regressão linear com pequenas amostras, afetados por colinearidade e outliers. A investigação é desenvolvida em três vertentes, nomeadamente na estimação de eficiência técnica com fronteiras de produção condicionadas a estados contingentes, na estimação do parâmetro ridge em regressão ridge e, por último, em novos desenvolvimentos na estimação com máxima entropia. Na estimação de eficiência técnica com fronteiras de produção condicionadas a estados contingentes, o trabalho desenvolvido evidencia um melhor desempenho dos estimadores de máxima entropia em relação ao estimador de máxima verosimilhança. Este bom desempenho é notório em modelos com poucas observações por estado e em modelos com um grande número de estados, os quais são comummente afetados por colinearidade. Espera-se que a utilização de estimadores de máxima entropia contribua para o tão desejado aumento de trabalho empírico com estas fronteiras de produção. Em regressão ridge o maior desafio é a estimação do parâmetro ridge. Embora existam inúmeros procedimentos disponíveis na literatura, a verdade é que não existe nenhum que supere todos os outros. Neste trabalho é proposto um novo estimador do parâmetro ridge, que combina a análise do traço ridge e a estimação com máxima entropia. Os resultados obtidos nos estudos de simulação sugerem que este novo estimador é um dos melhores procedimentos existentes na literatura para a estimação do parâmetro ridge. O estimador de máxima entropia de Leuven é baseado no método dos mínimos quadrados, na entropia de Shannon e em conceitos da eletrodinâmica quântica. Este estimador suplanta a principal crítica apontada ao estimador de máxima entropia generalizada, uma vez que prescinde dos suportes para os parâmetros e erros do modelo de regressão. Neste trabalho são apresentadas novas contribuições para a teoria de máxima entropia na estimação de modelos mal-postos, tendo por base o estimador de máxima entropia de Leuven, a teoria da informação e a regressão robusta. Os estimadores desenvolvidos revelam um bom desempenho em modelos de regressão linear com pequenas amostras, afetados por colinearidade e outliers. Por último, são apresentados alguns códigos computacionais para estimação com máxima entropia, contribuindo, deste modo, para um aumento dos escassos recursos computacionais atualmente disponíveis.

Analysis, modeling, design and optimization of future communications systems: from theory to practice

Esta tese descreve uma framework de trabalho assente no paradigma multi-camada para analisar, modelar, projectar e optimizar sistemas de comunicação. Nela se explora uma nova perspectiva acerca da camada física que nasce das relações entre a teoria de informação, estimação, métodos probabilísticos, teoria da comunicação e codificação. Esta framework conduz a métodos de projecto para a próxima geração de sistemas de comunicação de alto débito. Além disso, a tese explora várias técnicas de camada de acesso com base na relação entre atraso e débito para o projeto de redes sem fio tolerantes a atrasos. Alguns resultados fundamentais sobre a interação entre a teoria da informação e teoria da estimação conduzem a propostas de um paradigma alternativo para a análise, projecto e optimização de sistemas de comunicação. Com base em estudos sobre a relação entre a informação recíproca e MMSE, a abordagem descrita na tese permite ultrapassar, de forma inovadora, as dificuldades inerentes à optimização das taxas de transmissão de informação confiáveis em sistemas de comunicação, e permite a exploração da atribuição óptima de potência e estruturas óptimas de pre-codificação para diferentes modelos de canal: com fios, sem fios e ópticos. A tese aborda também o problema do atraso, numa tentativa de responder a questões levantadas pela enorme procura de débitos elevados em sistemas de comunicação. Isso é feito através da proposta de novos modelos para sistemas com codificação de rede (network coding) em camadas acima da sua camada física. Em particular, aborda-se a utilização de sistemas de codificação em rede para canais que variam no tempo e são sensíveis a atrasos. Isso foi demonstrado através da proposta de um novo modelo e esquema adaptativo, cujos algoritmos foram aplicados a sistemas sem fios com desvanecimento (fading) complexo, de que são exemplos os sistemas de comunicação via satélite. A tese aborda ainda o uso de sistemas de codificação de rede em cenários de transferência (handover) exigentes. Isso é feito através da proposta de novos modelos de transmissão WiFi IEEE 801.11 MAC, que são comparados com codificação de rede, e que se demonstram possibilitar transferência sem descontinuidades. Pode assim dizer-se que esta tese, através de trabalho de análise e de propostas suportadas por simulações, defende que na concepção de sistemas de comunicação se devem considerar estratégias de transmissão e codificação que sejam não só próximas da capacidade dos canais, mas também tolerantes a atrasos, e que tais estratégias têm de ser concebidas tendo em vista características do canal e a camada física.