Vertical R&D Sprillovers, Cooperation, Market Structure, and Innovation.

This paper studies vertical R&D spillovers between upstream and downstream firms. The model incorporates two vertically related industries, with horizontal spillovers within each industry and vertical spillovers between the two industries. Four types of R&D cooperation are studied : no cooperation, horizontal cooperation, vertical cooperation, and simultaneous horizontal and vertical cooperation. Vertical spillovers always increase R&D and welfare, while horizontal spillovers may increase or decrease them. The comparison of cooperative settings in terms of R&D shows that no setting uniformly dominates the others. Which type of cooperation yields more R&D depends on horizontal and vertical spillovers, and market structure. The ranking of cooperative structures hinges on the signs and magnitudes of three competitive externalities (vertical, horizontal, and diagonal) which capture the effect of the R&D of a firm on the profits of other firms. One of the basic results of the strategic investment literature is that cooperation between competitors increases (decreases) R&D when horizontal spillovers are high (low); the model shows that this result does not necessarily hold when vertical spillovers and vertical cooperation are taken into account. The paper proposes a theory of innovation and market structure, showing that the relation between innovation and competition depends on horizontal spillovers, vertical spillovers, and cooperative settings. The private incentives for R&D cooperation are addressed. It is found that buyers and sellers have divergent interests regarding the choice of cooperative settings and that spillovers increase the likelihood of the emergence of cooperation in a decentralized equilibrium.

Distributed conditional computation

L'objectif de cette thèse est de présenter différentes applications du programme de recherche de calcul conditionnel distribué. On espère que ces applications, ainsi que la théorie présentée ici, mènera à une solution générale du problème d'intelligence artificielle, en particulier en ce qui a trait à la nécessité d'efficience. La vision du calcul conditionnel distribué consiste à accélérer l'évaluation et l'entraînement de modèles profonds, ce qui est très différent de l'objectif usuel d'améliorer sa capacité de généralisation et d'optimisation. Le travail présenté ici a des liens étroits avec les modèles de type mélange d'experts. Dans le chapitre 2, nous présentons un nouvel algorithme d'apprentissage profond qui utilise une forme simple d'apprentissage par renforcement sur un modèle d'arbre de décisions à base de réseau de neurones. Nous démontrons la nécessité d'une contrainte d'équilibre pour maintenir la distribution d'exemples aux experts uniforme et empêcher les monopoles. Pour rendre le calcul efficient, l'entrainement et l'évaluation sont contraints à être éparse en utilisant un routeur échantillonnant des experts d'une distribution multinomiale étant donné un exemple. Dans le chapitre 3, nous présentons un nouveau modèle profond constitué d'une représentation éparse divisée en segments d'experts. Un modèle de langue à base de réseau de neurones est construit à partir des transformations éparses entre ces segments. L'opération éparse par bloc est implémentée pour utilisation sur des cartes graphiques. Sa vitesse est comparée à deux opérations denses du même calibre pour démontrer le gain réel de calcul qui peut être obtenu. Un modèle profond utilisant des opérations éparses contrôlées par un routeur distinct des experts est entraîné sur un ensemble de données d'un milliard de mots. Un nouvel algorithme de partitionnement de données est appliqué sur un ensemble de mots pour hiérarchiser la couche de sortie d'un modèle de langage, la rendant ainsi beaucoup plus efficiente. Le travail présenté dans cette thèse est au centre de la vision de calcul conditionnel distribué émis par Yoshua Bengio. Elle tente d'appliquer la recherche dans le domaine des mélanges d'experts aux modèles profonds pour améliorer leur vitesse ainsi que leur capacité d'optimisation. Nous croyons que la théorie et les expériences de cette thèse sont une étape importante sur la voie du calcul conditionnel distribué car elle cadre bien le problème, surtout en ce qui concerne la compétitivité des systèmes d'experts.