A Lei de ZIPF ou Regra 80/20 da Internet

As Leis de Potência, LP, (Power Laws, em inglês), Leis de Pareto ou Leis de Zipf são distribuições estatísticas, com inúmeras aplicações práticas, em sistemas naturais e artificiais. Alguns exemplos são a variação dos rendimentos pessoais ou de empresas, a ocorrência de palavras em textos, as repetições de sons ou conjuntos de sons em composições musicais, o número de vítimas em guerras ou outros cataclismos, a magnitude de tremores de terra, o número de vendas de livros ou CD’s na internet, o número de sítios mais acedidos na Internet, entre muitos outros. Vilfredo Pareto (1897-1906) afirma, no manual de economia política “Cours d’Economie Politique”, que grande parte da economia mundial segue uma determinada distribuição, em que 20% da população reúne 80% da riqueza total do país, estando, assim uma pequena fração da sociedade a controlar a maior fatia do dinheiro. Isto resume o comportamento de uma variável que segue uma distribuição de Pareto (ou Lei de Potência). Neste trabalho pretende-se estudar em pormenor a aplicação das leis de potência a fenómenos da internet, como sendo o número de sítios mais visitados, o número de links existentes em determinado sítio, a distribuição de nós numa rede da internet, o número livros vendidos e as vendas em leilões online. Os resultados obtidos permitem-nos concluir que todos os dados estudados são bem aproximados, numa escala logarítmica, por uma reta com declive negativo, seguindo, assim, uma distribuição de Pareto. O desenvolvimento e crescimento da Web, tem proporcionado um aumento do número dos utilizadores, conteúdos e dos sítios. Grande parte dos exemplos presentes neste trabalho serão alvo de novos estudos e de novas conclusões. O fato da internet ter um papel preponderante nas sociedades modernas, faz com que esteja em constante evolução e cada vez mais seja possível apresentar fenómenos na internet associados Lei de Potência.

Distribuição estatística do faturamento das empresas brasileiras: técnica de Zipf

Pós-graduação em Física - IGCE

Italian texts as networks: Topological measurements, Zipf and Heaps' laws

In questa tesi si è studiato un corpus di importanti testi della letteratura Italiana utilizzando la teoria dei network. Le misure topologiche tipiche dei network sono state calcolate sui testi letterari, poi sono state studiate le loro distribuzioni e i loro valori medi, per capire quali di esse possono distinguere un testo reale da sue modificazioni. Inoltre si è osservato come tutti i testi presentino due importanti leggi statistiche: la legge di Zipf e quella di Heaps.

Does the Pareto Distribution of Hurricane Damage Inherit its Fat Tail from a Zipf Distribution of Assets at Hazard?

Tropical Cyclones are a continuing threat to life and property. Willoughby (2012) found that a Pareto (power-law) cumulative distribution fitted to the most damaging 10% of US hurricane seasons fit their impacts well. Here, we find that damage follows a Pareto distribution because the assets at hazard follow a Zipf distribution, which can be thought of as a Pareto distribution with exponent 1. The Z-CAT model is an idealized hurricane catastrophe model that represents a coastline where populated places with Zipf- distributed assets are randomly scattered and damaged by virtual hurricanes with sizes and intensities generated through a Monte-Carlo process. Results produce realistic Pareto exponents. The ability of the Z-CAT model to simulate different climate scenarios allowed testing of sensitivities to Maximum Potential Intensity, landfall rates and building structure vulnerability. The Z-CAT model results demonstrate that a statistical significant difference in damage is found when only changes in the parameters create a doubling of damage.

Stochastic models and graph theory for Zipf's law

In questo elaborato ci siamo occupati della legge di Zipf sia da un punto di vista applicativo che teorico. Tale legge empirica afferma che il rango in frequenza (RF) delle parole di un testo seguono una legge a potenza con esponente -1. Per quanto riguarda l'approccio teorico abbiamo trattato due classi di modelli in grado di ricreare leggi a potenza nella loro distribuzione di probabilità. In particolare, abbiamo considerato delle generalizzazioni delle urne di Polya e i processi SSR (Sample Space Reducing). Di questi ultimi abbiamo dato una formalizzazione in termini di catene di Markov. Infine abbiamo proposto un modello di dinamica delle popolazioni capace di unificare e riprodurre i risultati dei tre SSR presenti in letteratura. Successivamente siamo passati all'analisi quantitativa dell'andamento del RF sulle parole di un corpus di testi. Infatti in questo caso si osserva che la RF non segue una pura legge a potenza ma ha un duplice andamento che può essere rappresentato da una legge a potenza che cambia esponente. Abbiamo cercato di capire se fosse possibile legare l'analisi dell'andamento del RF con le proprietà topologiche di un grafo. In particolare, a partire da un corpus di testi abbiamo costruito una rete di adiacenza dove ogni parola era collegata tramite un link alla parola successiva. Svolgendo un'analisi topologica della struttura del grafo abbiamo trovato alcuni risultati che sembrano confermare l'ipotesi che la sua struttura sia legata al cambiamento di pendenza della RF. Questo risultato può portare ad alcuni sviluppi nell'ambito dello studio del linguaggio e della mente umana. Inoltre, siccome la struttura del grafo presenterebbe alcune componenti che raggruppano parole in base al loro significato, un approfondimento di questo studio potrebbe condurre ad alcuni sviluppi nell'ambito della comprensione automatica del testo (text mining).

Leis de potência em sistemas naturais e artificiais

A Lei de Potência é uma particularidade de um sistema não linear, revelando um sistema complexo próximo da auto-organização. Algumas características de sistemas naturais e artificiais, tais como dimensão populacional das cidades, valor dos rendimentos pessoais, frequência de ocorrência de palavras em textos e magnitude de sismos, seguem distribuições do tipo Lei de Potência. Estas distribuições indicam que pequenas ocorrências são muito comuns e grandes ocorrências são raras, podendo porém verificar-se com razoável probabilidade. A finalidade deste trabalho visa a identificação de fenómenos associados às Leis de Potência. Mostra-se o comportamento típico destes fenómenos, com os dados retirados dos vários casos de estudo e com a ajuda de uma meta-análise. As Leis de Potência em sistemas naturais e artificiais apresentam uma proximidade a um padrão, quando os valores são normalizados (frequências relativas) para dar origem a um meta-gráfico.

A review of power laws in real life phenomena

Power law distributions, also known as heavy tail distributions, model distinct real life phenomena in the areas of biology, demography, computer science, economics, information theory, language, and astronomy, amongst others. In this paper, it is presented a review of the literature having in mind applications and possible explanations for the use of power laws in real phenomena. We also unravel some controversies around power laws.

Leis de Pareto para Guerras e Actos de Terrorismo

Mestrado em Engenharia Eletrotécnica e de Computadores - Área de Especialização de Sistemas e Planeamento Industrial

Leis de potência em economia e finanças

Nesta dissertação aborda-se a aplicação de Leis de Potência (LPs), também designadas de Leis de Pareto ou Leis de Zipf, a dados económicos. As LPs são distribuições estatísticas amplamente usadas na compreensão de sistemas naturais e artificiais. O aparecimento das LPs deve-se a Vilfredo Pareto que, no século XIX, publicou o manual de economia política,“Cours d’Economie Politique”. Nesse manual refere que grande parte da economia mundial segue uma LP, em que 20% da população reúne 80% da riqueza do país. Esta propriedade carateriza uma variável que segue uma distribuição de Pareto (ou LP). Desde então, as LPs foram aplicadas a outros fenómenos, nomeadamente a ocorrência de palavras em textos, os sobrenomes das pessoas, a variação dos rendimentos pessoais ou de empresas, o número de vítimas de inundações ou tremores de terra, os acessos a sítios da internet, etc. Neste trabalho, é estudado um conjunto de dados relativos às fortunas particulares ou coletivas de pessoas ou organizações. Mais concretamente são analisados dados recolhidos sobre as fortunas das mulheres mais ricas do mundo, dos homens mais ricos no ramo da tecnologia, das famílias mais ricas, das 20 mulheres mais ricas da América, dos 400 homens mais ricos da América, dos homens mais ricos do mundo, dos estabelecimentos mais ricos do mundo, das empresas mais ricas do mundo e dos países mais ricos do mundo, bem como o valor de algumas empresas no mercado de ações. Os resultados obtidos revelam uma boa aproximação de parte desses dados a uma LP simples e uma boa aproximação pelos restantes dados a uma LP dupla. Observa-se, assim, diferenciação na forma de crescimento das fortunas nos diferentes casos estudados. Como trabalho futuro, procurar-se-á analisar estes e outros dados, utilizando outras distribuições estatísticas, como a exponencial ou a lognormal, que possuem comportamentos semelhantes à LP, com o intuito de serem comparados os resultados. Um outro aspeto interessante será o de encontrar a explicação analítica para as vantagens da aproximação de dados económicos por uma LP simples vs por uma LP dupla.

Distribuições de eventos extremos e telecomunicações

As distribuições de Lei de Potência (PL Power Laws), tais como a lei de Pareto e a lei de Zipf são distribuições estatísticas cujos tamanhos dos eventos são inversamente proporcionais à sua frequência. Estas leis de potência são caracterizadas pelas suas longas caudas. Segundo Vilfredo Pareto (1896), engenheiro, cientista, sociólogo e economista italiano, autor da Lei de Pareto, 80% das consequências advêm de 20% das causas. Segundo o mesmo, grande parte da economia mundial segue uma determinada distribuição, onde 80% da riqueza mundial é detida por 20% da população ou 80% da poluição mundial é feita por 20% dos países. Estas percentagens podem oscilar nos intervalos [75-85] e [15-25]. A mesma percentagem poderá ser aplicada à gestão de tempo, onde apenas 20% do tempo dedicado a determinado assunto produzirá cerca de 80% dos resultados obtidos. A lei de Pareto, também designada de regra 80/20, tem aplicações nas várias ciências e no mundo físico, nomeadamente na biodiversidade. O número de ocorrências de fenómenos extremos, aliados ao impacto nas redes de telecomunicações nas situações de catástrofe, no apoio imediato às populações e numa fase posterior de reconstrução, têm preocupado cada vez mais as autoridades oficiais de protecção civil e as operadoras de telecomunicações. O objectivo é o de preparar e adaptarem as suas estruturas para proporcionar uma resposta eficaz a estes episódios. Neste trabalho estuda-se o comportamento de vários fenómenos extremos (eventos críticos) e aproximam-se os dados por uma distribuição de Pareto (Lei de Pareto) ou lei de potência. No final, especula-se sobre a influência dos eventos críticos na utilização das redes móveis. É fundamental que as redes móveis estejam preparadas para lidar com as repercussões de fenómenos deste tipo.

A Review on the Characterization of Signals and Systems by Power Law Distributions

Power laws, also known as Pareto-like laws or Zipf-like laws, are commonly used to explain a variety of real world distinct phenomena, often described merely by the produced signals. In this paper, we study twelve cases, namely worldwide technological accidents, the annual revenue of America׳s largest private companies, the number of inhabitants in America׳s largest cities, the magnitude of earthquakes with minimum moment magnitude equal to 4, the total burned area in forest fires occurred in Portugal, the net worth of the richer people in America, the frequency of occurrence of words in the novel Ulysses, by James Joyce, the total number of deaths in worldwide terrorist attacks, the number of linking root domains of the top internet domains, the number of linking root domains of the top internet pages, the total number of human victims of tornadoes occurred in the U.S., and the number of inhabitants in the 60 most populated countries. The results demonstrate the emergence of statistical characteristics, very close to a power law behavior. Furthermore, the parametric characterization reveals complex relationships present at higher level of description.

Pareto or log-normal? A recursive-truncation approach to the distribution of (all) cities

Traditionally, it is assumed that the population size of cities in a country follows a Pareto distribution. This assumption is typically supported by nding evidence of Zipf's Law. Recent studies question this nding, highlighting that, while the Pareto distribution may t reasonably well when the data is truncated at the upper tail, i.e. for the largest cities of a country, the log-normal distribution may apply when all cities are considered. Moreover, conclusions may be sensitive to the choice of a particular truncation threshold, a yet overlooked issue in the literature. In this paper, then, we reassess the city size distribution in relation to its sensitivity to the choice of truncation point. In particular, we look at US Census data and apply a recursive-truncation approach to estimate Zipf's Law and a non-parametric alternative test where we consider each possible truncation point of the distribution of all cities. Results con rm the sensitivity of results to the truncation point. Moreover, repeating the analysis over simulated data con rms the di culty of distinguishing a Pareto tail from the tail of a log-normal and, in turn, identifying the city size distribution as a false or a weak Pareto law.

Inteligência obtida pela aplicação de data mining em base de teses francesas sobre o Brasil

O assunto Brasil foi analisado na base de teses francesas DocThèses, compreendendo os anos de 1969 a 1999. Utilizou-se a técnica de Data Mining como ferramenta para obter inteligência e conhecimento. O software utilizado para a limpeza da base DocThèses foi o Infotrans, e, para a preparação dos dados, empregou-se o Dataview. Os resultados da análise foram ilustrados com a aplicação dos pressupostos da Lei de Zipf, classificando-se as informações em trivial, interessante e ruído, conforme a distribuição de freqüência. Conclui-se que a técnica do Data Mining associada a softwares especialistas é uma poderosa aliada no emprego de inteligência no processo decisório em todos os níveis, inclusive o nível macro, pois oferece subsídios para a consolidação, investimento e desenvolvimento de ações e políticas.

Emergence of Swiss metropole and scaling properties of urban clusters

Defining the limits of an urban agglomeration is essential both for fundamental and applied studies in quantitative and theoretical geography. A simple and consistent way for defining such urban clusters is important for performing different statistical analysis and comparisons. Traditionally, agglomerations are defined using a rather qualitative approach based on various statistical measures. This definition varies generally from one country to another, and the data taken into account are different. In this paper, we explore the use of the City Clustering Algorithm (CCA) for the agglomeration definition in Switzerland. This algorithm provides a systemic and easy way to define an urban area based only on population data. The CCA allows the specification of the spatial resolution for defining the urban clusters. The results from different resolutions are compared and analysed, and the effect of filtering the data investigated. Different scales and parameters allow highlighting different phenomena. The study of Zipf's law using the visual rank-size rule shows that it is valid only for some specific urban clusters, inside a narrow range of the spatial resolution of the CCA. The scale where emergence of one main cluster occurs can also be found in the analysis using Zipf's law. The study of the urban clusters at different scales using the lacunarity measure - a complementary measure to the fractal dimension - allows to highlight the change of scale at a given range.