Contributions to the theory of maximum entropy estimation for ill-posed models

As técnicas estatísticas são fundamentais em ciência e a análise de regressão linear é, quiçá, uma das metodologias mais usadas. É bem conhecido da literatura que, sob determinadas condições, a regressão linear é uma ferramenta estatística poderosíssima. Infelizmente, na prática, algumas dessas condições raramente são satisfeitas e os modelos de regressão tornam-se mal-postos, inviabilizando, assim, a aplicação dos tradicionais métodos de estimação. Este trabalho apresenta algumas contribuições para a teoria de máxima entropia na estimação de modelos mal-postos, em particular na estimação de modelos de regressão linear com pequenas amostras, afetados por colinearidade e outliers. A investigação é desenvolvida em três vertentes, nomeadamente na estimação de eficiência técnica com fronteiras de produção condicionadas a estados contingentes, na estimação do parâmetro ridge em regressão ridge e, por último, em novos desenvolvimentos na estimação com máxima entropia. Na estimação de eficiência técnica com fronteiras de produção condicionadas a estados contingentes, o trabalho desenvolvido evidencia um melhor desempenho dos estimadores de máxima entropia em relação ao estimador de máxima verosimilhança. Este bom desempenho é notório em modelos com poucas observações por estado e em modelos com um grande número de estados, os quais são comummente afetados por colinearidade. Espera-se que a utilização de estimadores de máxima entropia contribua para o tão desejado aumento de trabalho empírico com estas fronteiras de produção. Em regressão ridge o maior desafio é a estimação do parâmetro ridge. Embora existam inúmeros procedimentos disponíveis na literatura, a verdade é que não existe nenhum que supere todos os outros. Neste trabalho é proposto um novo estimador do parâmetro ridge, que combina a análise do traço ridge e a estimação com máxima entropia. Os resultados obtidos nos estudos de simulação sugerem que este novo estimador é um dos melhores procedimentos existentes na literatura para a estimação do parâmetro ridge. O estimador de máxima entropia de Leuven é baseado no método dos mínimos quadrados, na entropia de Shannon e em conceitos da eletrodinâmica quântica. Este estimador suplanta a principal crítica apontada ao estimador de máxima entropia generalizada, uma vez que prescinde dos suportes para os parâmetros e erros do modelo de regressão. Neste trabalho são apresentadas novas contribuições para a teoria de máxima entropia na estimação de modelos mal-postos, tendo por base o estimador de máxima entropia de Leuven, a teoria da informação e a regressão robusta. Os estimadores desenvolvidos revelam um bom desempenho em modelos de regressão linear com pequenas amostras, afetados por colinearidade e outliers. Por último, são apresentados alguns códigos computacionais para estimação com máxima entropia, contribuindo, deste modo, para um aumento dos escassos recursos computacionais atualmente disponíveis.

Generate disaggregated soil allocation data using a Minimum Cross Entropy Model

Montado ecosystem in the Alentejo Region, south of Portugal, has enormous agro-ecological and economics heterogeneities. A definition of homogeneous sub-units among this heterogeneous ecosystem was made, but for them is disposal only partial statistical information about soil allocation agro-forestry activities. The paper proposal is to recover the unknown soil allocation at each homogeneous sub-unit, disaggregating a complete data set for the Montado ecosystem area using incomplete information at sub-units level. The methodological framework is based on a Generalized Maximum Entropy approach, which is developed in thee steps concerning the specification of a r order Markov process, the estimates of aggregate transition probabilities and the disaggregation data to recover the unknown soil allocation at each homogeneous sub-units. The results quality is evaluated using the predicted absolute deviation (PAD) and the "Disagegation Information Gain" (DIG) and shows very acceptable estimation errors.

Combined disaggregation of agricultural land uses, livestock numbers and crops' production: an entropy approach

This paper presents several combined agricultural data disaggregation models in order to recover the farms' land uses, the livestock numbers and main crops' productions. The proposed approach estimates incomplete information at disaggregated level through entropy, using an information prior, and generating information for a combined calculation use of data in the estimation of other variables. The models were applied to the region of Algarve, to some rural pilot areas (Salir-Ameixial-Cachopo and Alcoutim) for livestock data, since this data in some Algarve's inland areas is needed for a European forest fire prevention project, and to the agrarian zones in a more complex framework. The results are promising. They were validated, in cross reference to real data, having proven to be valid and reliable. The total error was small and a considerable level of information heterogeneity was recovered. The total error was about 27,9% for the counties' land uses and 21% for the agrarian zones, and for the livestock it was also acceptable. The level of heterogeneity recovered was always higher than 50%, revealing some improvements regarding previous studies.

Average age of pending and disposed cases report for period 7/1/2012 thru 6/30/2013

This gives the average age of pending and disposes criminal cases broken down by county and circuit.

Forecasting overseas visitors into the United Kingdom using continuous time and autoregressive fractional integrated moving average models with discrete data

This paper applies Gaussian estimation methods to continuous time models for modelling overseas visitors into the UK. The use of continuous time modelling is widely used in economics and finance but not in tourism forecasting. Using monthly data for 1986–2010, various continuous time models are estimated and compared to autoregressive integrated moving average (ARIMA) and autoregressive fractionally integrated moving average (ARFIMA) models. Dynamic forecasts are obtained over different periods. The empirical results show that the ARIMA model performs very well, but that the constant elasticity of variance (CEV) continuous time model has the lowest root mean squared error (RMSE) over a short period.

Contradiction between the average age of retirement at the time of death and the average pension time for men and women in public employment in Portugal

The short article attempts to make some very brief reflections on the effects a lack of public policies positively discriminatory in terms of public employment retirement. In particular, the observation of the absurd contradiction between the average age of retirement at the time of death (for men and women) and the average pension time for men and women in public employment in Portugal.

Power law and entropy analysis of catastrophic phenomena

Catastrophic events, such as wars and terrorist attacks, tornadoes and hurricanes, earthquakes, tsunamis, floods and landslides, are always accompanied by a large number of casualties. The size distribution of these casualties has separately been shown to follow approximate power law (PL) distributions. In this paper, we analyze the statistical distributions of the number of victims of catastrophic phenomena, in particular, terrorism, and find double PL behavior. This means that the data sets are better approximated by two PLs instead of a single one. We plot the PL parameters, corresponding to several events, and observe an interesting pattern in the charts, where the lines that connect each pair of points defining the double PLs are almost parallel to each other. A complementary data analysis is performed by means of the computation of the entropy. The results reveal relationships hidden in the data that may trigger a future comprehensive explanation of this type of phenomena.

Entropy analysis of integer and fractional dynamical systems

This paper investigates the adoption of entropy for analyzing the dynamics of a multiple independent particles system. Several entropy definitions and types of particle dynamics with integer and fractional behavior are studied. The results reveal the adequacy of the entropy concept in the analysis of complex dynamical systems.

Integer and Fractional Order Entropy Analysis of Earthquake Data-series

This paper studies the statistical distributions of worldwide earthquakes from year 1963 up to year 2012. A Cartesian grid, dividing Earth into geographic regions, is considered. Entropy and the Jensen–Shannon divergence are used to analyze and compare real-world data. Hierarchical clustering and multi-dimensional scaling techniques are adopted for data visualization. Entropy-based indices have the advantage of leading to a single parameter expressing the relationships between the seismic data. Classical and generalized (fractional) entropy and Jensen–Shannon divergence are tested. The generalized measures lead to a clear identification of patterns embedded in the data and contribute to better understand earthquake distributions.

Y works : average hours worked and average salaries

Generation Y is entering the workforce in large numbers and, because this generation holds different values than previous generations, accounting firms are having difficulty managing these new hires. I t is important to determine whether Generation Y is associated with meaningful, long-term trends or i f they will adapt to the given situation. Gen Y' s association with average hours worked per person and average salaries in the Canadian Accounting, Marketing, and Legal professions is examined. I find that an increasing percentage of Generation Y employees in the workforce is associated with significant decreases in average hours worked, but is not associated with any significant trend in average salary. I t is concluded that Generation Y is associated with changing trends in the workplace. These trends are contrary to wha t might be expected under traditional definitions of success, therefore it is postulated that Gen Y may view workplace success differently than previous generations.

Average White Band poster, ca. 2000

The Average White Band's debut album, Show your hand, was released in 1973. The "classic funk and R & B" band included members Alan Gorrie, Owen "Onnie" McIntyre, Malcolm "Mollie" Duncan, Roger Ball, Robbie McIntosh, and Mike Rosen. Rosen was quickly replaced by Hamish Stuart. The band, comprised of Scotsmen, released a second album in 1974 that featured the US number 1/UK Top 10 single "Pick up the Pieces". That same year, Robbie McIntosh died of a heroin overdose and was replaced by Steve Ferrone. The song "Cut the Cake" from their third album made the US top 10, and subsequent releases in the late 1970s and early 1980s proved successful. The members largely pursued individual projects in the years that followed, but re-formed in 1989 (with original members Gorrie, Ball and McIntyre, and new members Alex Ligertwood and Eliot Lewis) and released the album Aftershock. Over the years, the band's members have changed, and the band is currently comprised of Onnie McIntyre, Rocky Bryant, Alan Gorrie, Fred "Freddy V" Vigdor and Klyde Jones. Their most recent album, Times Squared, was released in 2009.

Applicabilité de la texture couleur à la différentiation des classes d’occupation du territoire sur des images satellitales multispectrales

La texture est un élément clé pour l’interprétation des images de télédétection à fine résolution spatiale. L’intégration de l’information texturale dans un processus de classification automatisée des images se fait habituellement via des images de texture, souvent créées par le calcul de matrices de co-occurrences (MCO) des niveaux de gris. Une MCO est un histogramme des fréquences d’occurrence des paires de valeurs de pixels présentes dans les fenêtres locales, associées à tous les pixels de l’image utilisée; une paire de pixels étant définie selon un pas et une orientation donnés. Les MCO permettent le calcul de plus d’une dizaine de paramètres décrivant, de diverses manières, la distribution des fréquences, créant ainsi autant d’images texturales distinctes. L’approche de mesure des textures par MCO a été appliquée principalement sur des images de télédétection monochromes (ex. images panchromatiques, images radar monofréquence et monopolarisation). En imagerie multispectrale, une unique bande spectrale, parmi celles disponibles, est habituellement choisie pour générer des images de texture. La question que nous avons posée dans cette recherche concerne justement cette utilisation restreinte de l’information texturale dans le cas des images multispectrales. En fait, l’effet visuel d’une texture est créé, non seulement par l’agencement particulier d’objets/pixels de brillance différente, mais aussi de couleur différente. Plusieurs façons sont proposées dans la littérature pour introduire cette idée de la texture à plusieurs dimensions. Parmi celles-ci, deux en particulier nous ont intéressés dans cette recherche. La première façon fait appel aux MCO calculées bande par bande spectrale et la seconde utilise les MCO généralisées impliquant deux bandes spectrales à la fois. Dans ce dernier cas, le procédé consiste en le calcul des fréquences d’occurrence des paires de valeurs dans deux bandes spectrales différentes. Cela permet, en un seul traitement, la prise en compte dans une large mesure de la « couleur » des éléments de texture. Ces deux approches font partie des techniques dites intégratives. Pour les distinguer, nous les avons appelées dans cet ouvrage respectivement « textures grises » et « textures couleurs ». Notre recherche se présente donc comme une analyse comparative des possibilités offertes par l’application de ces deux types de signatures texturales dans le cas spécifique d’une cartographie automatisée des occupations de sol à partir d’une image multispectrale. Une signature texturale d’un objet ou d’une classe d’objets, par analogie aux signatures spectrales, est constituée d’une série de paramètres de texture mesurés sur une bande spectrale à la fois (textures grises) ou une paire de bandes spectrales à la fois (textures couleurs). Cette recherche visait non seulement à comparer les deux approches intégratives, mais aussi à identifier la composition des signatures texturales des classes d’occupation du sol favorisant leur différentiation : type de paramètres de texture / taille de la fenêtre de calcul / bandes spectrales ou combinaisons de bandes spectrales. Pour ce faire, nous avons choisi un site à l’intérieur du territoire de la Communauté Métropolitaine de Montréal (Longueuil) composé d’une mosaïque d’occupations du sol, caractéristique d’une zone semi urbaine (résidentiel, industriel/commercial, boisés, agriculture, plans d’eau…). Une image du satellite SPOT-5 (4 bandes spectrales) de 10 m de résolution spatiale a été utilisée dans cette recherche. Puisqu’une infinité d’images de texture peuvent être créées en faisant varier les paramètres de calcul des MCO et afin de mieux circonscrire notre problème nous avons décidé, en tenant compte des études publiées dans ce domaine : a) de faire varier la fenêtre de calcul de 3*3 pixels à 21*21 pixels tout en fixant le pas et l’orientation pour former les paires de pixels à (1,1), c'est-à-dire à un pas d’un pixel et une orientation de 135°; b) de limiter les analyses des MCO à huit paramètres de texture (contraste, corrélation, écart-type, énergie, entropie, homogénéité, moyenne, probabilité maximale), qui sont tous calculables par la méthode rapide de Unser, une approximation des matrices de co-occurrences, c) de former les deux signatures texturales par le même nombre d’éléments choisis d’après une analyse de la séparabilité (distance de Bhattacharya) des classes d’occupation du sol; et d) d’analyser les résultats de classification (matrices de confusion, exactitudes, coefficients Kappa) par maximum de vraisemblance pour conclure sur le potentiel des deux approches intégratives; les classes d’occupation du sol à reconnaître étaient : résidentielle basse et haute densité, commerciale/industrielle, agricole, boisés, surfaces gazonnées (incluant les golfs) et plans d’eau. Nos principales conclusions sont les suivantes a) à l’exception de la probabilité maximale, tous les autres paramètres de texture sont utiles dans la formation des signatures texturales; moyenne et écart type sont les plus utiles dans la formation des textures grises tandis que contraste et corrélation, dans le cas des textures couleurs, b) l’exactitude globale de la classification atteint un score acceptable (85%) seulement dans le cas des signatures texturales couleurs; c’est une amélioration importante par rapport aux classifications basées uniquement sur les signatures spectrales des classes d’occupation du sol dont le score est souvent situé aux alentours de 75%; ce score est atteint avec des fenêtres de calcul aux alentours de11*11 à 15*15 pixels; c) Les signatures texturales couleurs offrant des scores supérieurs à ceux obtenus avec les signatures grises de 5% à 10%; et ce avec des petites fenêtres de calcul (5*5, 7*7 et occasionnellement 9*9) d) Pour plusieurs classes d’occupation du sol prises individuellement, l’exactitude dépasse les 90% pour les deux types de signatures texturales; e) une seule classe est mieux séparable du reste par les textures grises, celle de l’agricole; f) les classes créant beaucoup de confusions, ce qui explique en grande partie le score global de la classification de 85%, sont les deux classes du résidentiel (haute et basse densité). En conclusion, nous pouvons dire que l’approche intégrative par textures couleurs d’une image multispectrale de 10 m de résolution spatiale offre un plus grand potentiel pour la cartographie des occupations du sol que l’approche intégrative par textures grises. Pour plusieurs classes d’occupations du sol un gain appréciable en temps de calcul des paramètres de texture peut être obtenu par l’utilisation des petites fenêtres de traitement. Des améliorations importantes sont escomptées pour atteindre des exactitudes de classification de 90% et plus par l’utilisation des fenêtres de calcul de taille variable adaptées à chaque type d’occupation du sol. Une méthode de classification hiérarchique pourrait être alors utilisée afin de séparer les classes recherchées une à la fois par rapport au reste au lieu d’une classification globale où l’intégration des paramètres calculés avec des fenêtres de taille variable conduirait inévitablement à des confusions entre classes.

Caractérisation des occupations du sol en milieu urbain par imagerie radar

Cette étude vise à tester la pertinence des images RSO - de moyenne et de haute résolution - à la caractérisation des types d’occupation du sol en milieu urbain. Elle s’est basée sur des approches texturales à partir des statistiques de deuxième ordre. Plus spécifiquement, on recherche les paramètres de texture les plus pertinents pour discriminer les objets urbains. Il a été utilisé à cet égard des images Radarsat-1 en mode fin en polarisation HH et Radarsat-2 en mode fin en double et quadruple polarisation et en mode ultrafin en polarisation HH. Les occupations du sol recherchées étaient le bâti dense, le bâti de densité moyenne, le bâti de densité faible, le bâti industriel et institutionnel, la végétation de faible densité, la végétation dense et l’eau. Les neuf paramètres de textures analysés ont été regroupés, en familles selon leur définition mathématique. Les paramètres de ressemblance/dissemblance regroupent l’Homogénéité, le Contraste, la Similarité et la Dissimilarité. Les paramètres de désordre sont l’Entropie et le Deuxième Moment Angulaire. L’Écart-Type et la Corrélation sont des paramètres de dispersion et la Moyenne est une famille à part. Il ressort des expériences que certaines combinaisons de paramètres de texture provenant de familles différentes utilisés dans les classifications donnent de très bons résultants alors que d’autres associations de paramètres de texture de définition mathématiques proches génèrent de moins bons résultats. Par ailleurs on constate que si l’utilisation de plusieurs paramètres de texture améliore les classifications, la performance de celle-ci plafonne à partir de trois paramètres. Malgré la bonne performance de cette approche basée sur la complémentarité des paramètres de texture, des erreurs systématiques dues aux effets cardinaux subsistent sur les classifications. Pour pallier à ce problème, il a été développé un modèle de compensation radiométrique basé sur la section efficace radar (SER). Une simulation radar à partir du modèle numérique de surface du milieu a permis d'extraire les zones de rétrodiffusion des bâtis et d'analyser les rétrodiffusions correspondantes. Une règle de compensation des effets cardinaux fondée uniquement sur les réponses des objets en fonction de leur orientation par rapport au plan d'illumination par le faisceau du radar a été mise au point. Des applications de cet algorithme sur des images RADARSAT-1 et RADARSAT-2 en polarisations HH, HV, VH, et VV ont permis de réaliser de considérables gains et d’éliminer l’essentiel des erreurs de classification dues aux effets cardinaux.