Advances in scaling deep learning algorithms

Les algorithmes d'apprentissage profond forment un nouvel ensemble de méthodes puissantes pour l'apprentissage automatique. L'idée est de combiner des couches de facteurs latents en hierarchies. Cela requiert souvent un coût computationel plus elevé et augmente aussi le nombre de paramètres du modèle. Ainsi, l'utilisation de ces méthodes sur des problèmes à plus grande échelle demande de réduire leur coût et aussi d'améliorer leur régularisation et leur optimization. Cette thèse adresse cette question sur ces trois perspectives. Nous étudions tout d'abord le problème de réduire le coût de certains algorithmes profonds. Nous proposons deux méthodes pour entrainer des machines de Boltzmann restreintes et des auto-encodeurs débruitants sur des distributions sparses à haute dimension. Ceci est important pour l'application de ces algorithmes pour le traitement de langues naturelles. Ces deux méthodes (Dauphin et al., 2011; Dauphin and Bengio, 2013) utilisent l'échantillonage par importance pour échantilloner l'objectif de ces modèles. Nous observons que cela réduit significativement le temps d'entrainement. L'accéleration atteint 2 ordres de magnitude sur plusieurs bancs d'essai. Deuxièmement, nous introduisont un puissant régularisateur pour les méthodes profondes. Les résultats expérimentaux démontrent qu'un bon régularisateur est crucial pour obtenir de bonnes performances avec des gros réseaux (Hinton et al., 2012). Dans Rifai et al. (2011), nous proposons un nouveau régularisateur qui combine l'apprentissage non-supervisé et la propagation de tangente (Simard et al., 1992). Cette méthode exploite des principes géometriques et permit au moment de la publication d'atteindre des résultats à l'état de l'art. Finalement, nous considérons le problème d'optimiser des surfaces non-convexes à haute dimensionalité comme celle des réseaux de neurones. Tradionellement, l'abondance de minimum locaux était considéré comme la principale difficulté dans ces problèmes. Dans Dauphin et al. (2014a) nous argumentons à partir de résultats en statistique physique, de la théorie des matrices aléatoires, de la théorie des réseaux de neurones et à partir de résultats expérimentaux qu'une difficulté plus profonde provient de la prolifération de points-selle. Dans ce papier nous proposons aussi une nouvelle méthode pour l'optimisation non-convexe.

TU Graz: Course: 707.000 Web Science and Web Technology: Lecture 2: Small World Problem

We will discuss several examples and research efforts related to the small world problem and set the ground for our discussion of network theory and social network analysis. Readings: An Experimental Study of the Small World Problem, J. Travers and S. Milgram Sociometry 32 425-443 (1969) [Protected Access] Optional: The Strength of Weak Ties, M.S. Granovetter The American Journal of Sociology 78 1360--1380 (1973) [Protected Access] Optional: Worldwide Buzz: Planetary-Scale Views on an Instant-Messaging Network, J. Leskovec and E. Horvitz MSR-TR-2006-186. Microsoft Research, June 2007. [Web Link, the most recent and comprehensive study on the subject!] Originally from: http://kmi.tugraz.at/staff/markus/courses/SS2008/707.000_web-science/

Thanatos Empresarial : evolución del Sector de la construcción en Colombia.

Esta investigación está orientada hacia la identificación de características de la internacionalización de la economía colombiana, específicamente en el sector de la construcción, los cuales han logrado otorgarle un especial dinamismo durante esta última década. En el desarrollo del documento se evalúan los modelos de internacionalización basados principalmente en tres temas fundamentales; el primero es la teoría económica, el segundo es la teoría como proceso, y por último la teoría de redes. Cada uno de estos modelos basados en su respectiva teoría, enseñan conceptos de cómo podrían las empresas implementar planes para entrar a otros mercados, empezando por países similares tanto en aspectos sociales, económicos, culturales, y políticos, logrando así de esta manera una posición aventajada frente a sus competidores. Al lograr este posicionamiento pueden empezar su expansión a países más lejanos puesto que ya han conocido y fortalecido sus ventajas competitivas, obteniendo una mayor experiencia de adaptación a nuevos mercados, con esto alcanzando captar mayores recursos económicos, de conocimiento y de otras índoles que ayudan a disminuir el riesgo de inversión que realizan las organizaciones en diferentes naciones.

Análisis de los procesos de internacionalización en el sector petrolero : Ecopetrol, Petrobras Y Exxonmobil

El presente trabajo se centra en el fenómeno de la internacionalización dentro del sector petrolero. Para esto, se escogió a tres empresas: Ecopetrol, por ser la empresa colombiana más grande; Petrobras, el mayor representante de Latinoamérica; y Exxon Mobil, un gigante del petróleo a nivel mundial. Estas empresas, que se encuentran en diferentes etapas dentro de su proceso de la internacionalización, muestran comportamientos estratégicos similares. Son precisamente estas similitudes las que permitieron proponer un modelo de internacionalización generalizado para las diferentes empresas que componen dicho sector económico. Para alcanzar dicho modelo, se recurrió a diferentes teorías de internacionalización desarrolladas por varias escuelas de negocios en el mundo, tales como el Modelo Ecléctico, el de Uppsala o la Teoría de Redes. Cabe destacar que dicho modelo propuesto es una aproximación teórica a la realidad empresarial de las compañías petroleras, usando como marco de referencia una muestra pequeña de este tipo de organizaciones. Dentro de este modelo, los altos matices de complejidad propios del fenómeno de la internacionalización se ven reducidos de manera considerable, como parte del ejercicio académico propuesto en el presente estudio.

Impacto de la apertura en la conectividad e integración de Colombia en la red mundial de comercio

La liberalización colombiana es analizada, con frecuencia, con los coeficientes de apertura, este documento, en cambio, presenta un análisis complementario a través de algoritmos usados en la teoría de redes para caracterizar sistemas complejos. Esta nueva aproximación devela estructuras de la red mundial de comercio antes y después de la apertura, así como cambios en la posición colombiana.

Análisis del modelo de Internacionalización de e-Tech Simulation según la teoría de redes

La teoría de redes de Johanson y Mattson (1988) explica como las pequeñas empresas, también conocidas como PyMes, utilizan las redes de negocio para desarrollar sus procesos de internacionalización. Es así que a través de las redes pueden superar sus limitaciones de tamaño para encontrar cierto tipo de fluidez y dinamismo en su gestión, con el fin de aprovechar los beneficios de la internacionalización. A partir del desarrollo y fortalecimiento de las relaciones dentro de la red la organización puede posicionarse en una instancia competitiva cada vez más fuerte (Jarillo, 1988). Según Forsgren y Johanson (1992), para los gerentes es importante coordinar la interacción entre los diferentes actores de la red, ya que a través de estas su posición dentro de la red mejora y así mismo el flujo de recursos será mayor. El propósito de este trabajo es analizar el modelo de internacionalización según la teoría de redes, desde una perspectiva cultural, de e-Tech Simulation una PyME “Born to be global” norteamericana. Esta empresa ha minimizado su riesgo de internacionalización, a través del desarrollo de acuerdos entre los diferentes actores. Al mejorar su posición dentro de la red, es decir al fortalecer aún más los lazos existentes y crear nuevas relaciones, la empresa ha obtenido mayores beneficios de la misma y ha logrado ser aún más flexible con sus clientes. Es por esto que a partir de este análisis se planteó una serie de recomendaciones para mejorar los procesos de negociación dentro de la red, bajo un contexto cultural. De igual forma se evidencio la importancia del papel del emprendimiento del gerente en los procesos de internacionalización, así como su habilidad para mezclar los recursos obtenidos de diferentes mercados internacionales para satisfacer las necesidades de los clientes.

Movimientos sociales su construcción narrativa desde los nuevos medios: los Indignados bogotanos en Twitter

Se analiza la relación entre movimientos sociales y nuevos medios en Colombia, preguntando en particular por las posibilidades narrativas que tienen los movimientos sociales en el nuevo espacio comunicativo abierto por internet. Para ello, se lleva a cabo un estudio descriptivo del relato elaborado en la red social Twitter por activistas virtuales del movimiento de indignación surgido en Bogotá tras la destitución del alcalde mayor, Gustavo Petro, a finales de 2013. Se encontró que Twitter fue un espacio esencialmente de disputa. El relato del movimiento fue construido en permanente contrapunteo no solo con las informaciones de los medios de comunicación tradicionales y las intervenciones de los líderes políticos, sino también con expresiones ciudadanas rivales, que se movilizaron paralelamente en la misma red social en un ejercicio de contestación. Esta investigación emplea como marco analítico la “autocomunicación de masas” propuesta por Manuel Castells.

Modelling disease spread and control in networks: implications for plant sciences

Networks are ubiquitous in natural, technological and social systems. They are of increasing relevance for improved understanding and control of infectious diseases of plants, animals and humans, given the interconnectedness of today's world. Recent modelling work on disease development in complex networks shows: the relative rapidity of pathogen spread in scale-free compared with random networks, unless there is high local clustering; the theoretical absence of an epidemic threshold in scale-free networks of infinite size, which implies that diseases with low infection rates can spread in them, but the emergence of a threshold when realistic features are added to networks (e.g. finite size, household structure or deactivation of links); and the influence on epidemic dynamics of asymmetrical interactions. Models suggest that control of pathogens spreading in scale-free networks should focus on highly connected individuals rather than on mass random immunization. A growing number of empirical applications of network theory in human medicine and animal disease ecology confirm the potential of the approach, and suggest that network thinking could also benefit plant epidemiology and forest pathology, particularly in human-modified pathosystems linked by commercial transport of plant and disease propagules. Potential consequences for the study and management of plant and tree diseases are discussed.

Networks, agency and (de)stabilisation: the issue of navigation on the River Wye, UK

This paper assesses the way in which an actor network presiding over the management of the River Wye has stabilized through accepting a particular view on the issue of navigation. The paper provides an account of how the network was challenged by a dissonant actor who, through reviving an old company, developed a counter network. It is argued that network stabilization is a form of consensus-building and it is contended that the way in which an issue is defined is crucial in terms of the successful enrolment of actors. The paper illustrates some of the conflicts and complexities encountered in resource planning, suggesting that research of this nature should trace actors back through time as well as through space if dynamics between actors involved in rural planning and management are to be effectively understood.

Clusters, connectivity and catch-up: Bollywood and Bangalore in the Global Economy

In this article, we make two important contributions to the literature on clusters. First, we provide a broader theory of cluster connectivity that has hitherto focused on organization-based pipelines and MNE subsidiaries, by including linkages in the form of personal relationships. Second, we use the lens of social network theory to derive a number of testable propositions. We propose that global linkages with decentralized network structures have the highest potential for local spillovers. In the emerging economy context, our theory implies that clusters linked to the global economy by decentralized pipelines have potential for in-depth catch-up, focused in industry and technology scope. In contrast, clusters linked through decentralized personal relationships have potential for in-breadth catch-up over a range of related industries and technologies. We illustrate our theoretical propositions by contrasting two emerging economy case studies: Bollywood, the Indian filmed entertainment cluster in Mumbai and the Indian software cluster in Bangalore.

Nested diets: a novel pattern of individual-level resource use

Many generalist populations may actually be composed of relatively specialist individuals. This `individual specialization` may have important ecological and evolutionary implications. Although this phenomenon has been documented in more than one hundred taxa, it is still unclear how individuals within a population actually partition resources. Here we applied several methods based on network theory to investigate the intrapopulation patterns of resource use in the gracile mouse opossum Gracilinanus microtarsus. We found evidence of significant individual specialization in this species and that the diets of specialists are nested within the diets of generalists. This novel pattern is consistent with a recently proposed model of optimal foraging and implies strong asymmetry in the interactions among individuals of a population.

The transformation between exploration and exploitation applied to inventors of packaging innovations

While the inventor is often the driver of an invention in the early stages, he/she needs to move between different social networks for knowledge in order to create and capture value. The main objective of this research is to propose a literature-based framework based on innovation network theory and complemented with C-K theory, in order to analyze the invention/innovation process of inventors and the product concepts in a packaging industry context. Empirical input from three case studies of packaging inventions and their inventors is used to elaborate the suggested framework.The article identifies important gaps in the literature of innovation networks. This is addressed through a theoretical framework based on network theories, complemented with C-K theory for the product design level. The strength-of-ties dimension of the theoretical framework suggests, in agreement with the mainstream literature and the cases presented, that weak ties are required to access the knowledge related to exploration networks and strong ties are required to utilize the knowledge in the exploitation network. The transformation network is an intermediate step acting as a bridge where entrepreneurs can find required knowledge. The transformation network is also an intermediate step where entrepreneurs find financing and companies interested in commercializing inventions. (C) 2010 Elsevier Ltd. All rights reserved.

Artificial neural networks and clustering techniques applied in the reconfiguration of distribution systems

One objective of the feeder reconfiguration problem in distribution systems is to minimize the power losses for a specific load. For this problem, mathematical modeling is a nonlinear mixed integer problem that is generally hard to solve. This paper proposes an algorithm based on artificial neural network theory. In this context, clustering techniques to determine the best training set for a single neural network with generalization ability are also presented. The proposed methodology was employed for solving two electrical systems and presented good results. Moreover, the methodology can be employed for large-scale systems in real-time environment.

Análise da rede política do turismo brasileiro.

The dissertation examines the influence of relationships among actors from Brazilian Tourism Political Network who compose the National Council of Tourism in the drafting of the National Tourism Plans (PNT) - PNTs 2003/2007 and 2007/2010, focusing on two main types of interaction: cooperation and information exchange. Therefore, the study departed from the understanding that the concept of tourism as a human phenomenon is configured as an essential conceptual basis for the development, implementation and analysis of public policies. The application of Network Theory and Social Network Analysis serves as an analytical tool, in addition, the use of concepts of Policy Networks enabled to interpret, in distinct aspects, the social reality of tourism in a more precise and detailed way. The study had a cross-sectional with a longitudinal perspective and case study was adopted, thus enabling to apply the model of social network analysis and qualitative approach. Through the survey conducted, it was found that the drafting process of National Tourism Plans was the result of the interaction of a complex network of actors from public and private initiatives, who compose the National Council of Tourism, and that their power of influence came out simultaneously, but not symmetrically, for both their performance/intervention in the meetings, and the possession of economic and organizational resources. Hence, the establishment of partnerships and information exchanges among the actors were underlying to the PNT drafting process, both in problems perception and insertion in the government agenda, as in making proposals to solve them, thus guiding the construction of large programs and programs contained in both investigated plans.