Réseaux de neurones à relaxation entraînés par critère d'autoencodeur débruitant

L’apprentissage machine est un vaste domaine où l’on cherche à apprendre les paramètres de modèles à partir de données concrètes. Ce sera pour effectuer des tâches demandant des aptitudes attribuées à l’intelligence humaine, comme la capacité à traiter des don- nées de haute dimensionnalité présentant beaucoup de variations. Les réseaux de neu- rones artificiels sont un exemple de tels modèles. Dans certains réseaux de neurones dits profonds, des concepts "abstraits" sont appris automatiquement. Les travaux présentés ici prennent leur inspiration de réseaux de neurones profonds, de réseaux récurrents et de neuroscience du système visuel. Nos tâches de test sont la classification et le débruitement d’images quasi binaires. On permettra une rétroac- tion où des représentations de haut niveau (plus "abstraites") influencent des représentations à bas niveau. Cette influence s’effectuera au cours de ce qu’on nomme relaxation, des itérations où les différents niveaux (ou couches) du modèle s’interinfluencent. Nous présentons deux familles d’architectures, l’une, l’architecture complètement connectée, pouvant en principe traiter des données générales et une autre, l’architecture convolutionnelle, plus spécifiquement adaptée aux images. Dans tous les cas, les données utilisées sont des images, principalement des images de chiffres manuscrits. Dans un type d’expérience, nous cherchons à reconstruire des données qui ont été corrompues. On a pu y observer le phénomène d’influence décrit précédemment en comparant le résultat avec et sans la relaxation. On note aussi certains gains numériques et visuels en terme de performance de reconstruction en ajoutant l’influence des couches supérieures. Dans un autre type de tâche, la classification, peu de gains ont été observés. On a tout de même pu constater que dans certains cas la relaxation aiderait à apprendre des représentations utiles pour classifier des images corrompues. L’architecture convolutionnelle développée, plus incertaine au départ, permet malgré tout d’obtenir des reconstructions numériquement et visuellement semblables à celles obtenues avec l’autre architecture, même si sa connectivité est contrainte.

Communication, développement et appropriation des médias émergents en Afrique francophone subsaharienne : approche critique

Cette thèse porte sur l’appropriation de l’Internet et du multimédias dans la population universitaire d’Afrique francophone, en l’an 2001. Elle couvre six pays : le Bénin, le Burkina Faso, le Cameroun, la Côte d’Ivoire, le Mali et le Togo. La recherche porte sur le recensement des centres de recherche démographique en Afrique francophone subsaharienne et sur une enquête auprès des universités de Yaoundé II et de Douala au Cameroun. La problématique de l’accès et de l’usage est centrale dans notre démarche. Elle est traduite dans la question de recherche suivante : « Dans un contexte dominé par les représentations des NTIC comme symboles de modernité et facteurs d’intégration à l’économie mondiale, quelles sont les modalités d’appropriation de ces technologies par les universitaires des institutions de l’enseignement et de la recherche en Afrique considérées dans cette étude ? » Pour aborder le matériel empirique, nous avons opté pour deux approches théoriques : les théories du développement en lien avec les (nouveaux) médias et la sociologie des innovations techniques. Enracinées dans la pensée des Lumières, complétée et affinée par les approches évolutionnistes inspirées de Spencer, le fonctionnalisme d’inspiration parsonienne et l’économie politique axée sur la pensée de W. W. Rostow, les théories du développement ont largement mis à contribution les théories de la communication pour atteindre leur objet. Alors que la crise de la modernité occidentale menace de délégitimer ces paradigmes, les technologies émergentes leur donnent une nouvelle naissance : dans la continuité de la pensée d’Auguste Comte, le développement est désormais pensé en termes d’intégration à un nouveau type de société, la société de l’information. Cette nouvelle promesse eschatologique et cette foi dans la technique comme facteur d’intégration à la société et à l’économie en réseau habitent tous les projets menés sur le continent, que ce soit le NEPAD, le Fond de solidarité numérique, le projet d’ordinateur à 100$ pour les enfants démunis ou le projet panafricain de desserte satellitaire, le RASCOM. Le deuxième volet de notre cadre de référence théorique est axé sur la sociologie des innovations techniques. Nous mobilisons la sociopolitique des usages de Vedel et Vitalis pour ramener la raison critique dans le débat sur le développement du continent africain, dans l’optique de montrer que la prérogative politique assumée par les États a encore sa place, si l’on veut que les ressources numériques servent à satisfaire les demandes sociales et non les seules demandes solvables essentiellement localisées dans les centres urbains. En refusant le déterminisme technique si courant dans la pensée sur le développement, nous voulons montrer que le devenir de la technique n’est pas inscrit dans son essence, comme une ombre portée, mais que l’action des humains, notamment l’action politique, peut infléchir la trajectoire des innovations techniques dans l’optique de servir les aspirations des citoyens. Sur le plan méthodologique, la démarche combine les méthodes quantitatives et les méthodes qualitatives. Les premières nous permettront de mesurer la présence d’Internet et du multimédia dans l’environnement des répondants. Les secondes nous aideront à saisir les représentations développées par les usagers au contact de ces outils. Dans la perspective socioconstructiviste, ces discours sont constitutifs des technologies, dans la mesure où ils sont autant de modalités d’appropriation, de construction sociale de l’usage. Ultimement, l’intégration du langage technique propre aux outils multimédias dans le langage quotidien des usagers traduit le dernier stade de cette appropriation. À travers cette recherche, il est apparu que les usagers sont peu nombreux à utiliser les technologies audiovisuelles dans le contexte professionnel. Quand à l’Internet et aux outils multimédias, leur présence et leurs usages restent limités, l’accès physique n’étant pas encore garanti à tous les répondants de l’étude. Internet suscite de grandes espérances, mais reste, là aussi, largement inaccessible en contexte professionnel, la majorité des usagers se rabattant sur les lieux publics comme les cybercafés pour pallier l’insuffisance des ressources au sein de leurs institutions d’appartenance. Quant aux représentations, elles restent encore largement tributaires des discours politiques et institutionnels dominants, selon lesquels l’avenir sera numérique ou ne sera pas. La thèse va cependant au-delà de ces données pour dessiner la carte numérique actuelle du continent, en intégrant dans la nouvelle donne technologique la montée fulgurante de la téléphonie cellulaire mobile. Il nous est apparu que l’Internet, dont la diffusion sur le continent a été plus que modeste, pourrait largement profiter de l’émergence sur le continent de la culture mobile, que favorise notamment la convergence entre les mini-portables et la téléphonie mobile.

Distributed conditional computation

L'objectif de cette thèse est de présenter différentes applications du programme de recherche de calcul conditionnel distribué. On espère que ces applications, ainsi que la théorie présentée ici, mènera à une solution générale du problème d'intelligence artificielle, en particulier en ce qui a trait à la nécessité d'efficience. La vision du calcul conditionnel distribué consiste à accélérer l'évaluation et l'entraînement de modèles profonds, ce qui est très différent de l'objectif usuel d'améliorer sa capacité de généralisation et d'optimisation. Le travail présenté ici a des liens étroits avec les modèles de type mélange d'experts. Dans le chapitre 2, nous présentons un nouvel algorithme d'apprentissage profond qui utilise une forme simple d'apprentissage par renforcement sur un modèle d'arbre de décisions à base de réseau de neurones. Nous démontrons la nécessité d'une contrainte d'équilibre pour maintenir la distribution d'exemples aux experts uniforme et empêcher les monopoles. Pour rendre le calcul efficient, l'entrainement et l'évaluation sont contraints à être éparse en utilisant un routeur échantillonnant des experts d'une distribution multinomiale étant donné un exemple. Dans le chapitre 3, nous présentons un nouveau modèle profond constitué d'une représentation éparse divisée en segments d'experts. Un modèle de langue à base de réseau de neurones est construit à partir des transformations éparses entre ces segments. L'opération éparse par bloc est implémentée pour utilisation sur des cartes graphiques. Sa vitesse est comparée à deux opérations denses du même calibre pour démontrer le gain réel de calcul qui peut être obtenu. Un modèle profond utilisant des opérations éparses contrôlées par un routeur distinct des experts est entraîné sur un ensemble de données d'un milliard de mots. Un nouvel algorithme de partitionnement de données est appliqué sur un ensemble de mots pour hiérarchiser la couche de sortie d'un modèle de langage, la rendant ainsi beaucoup plus efficiente. Le travail présenté dans cette thèse est au centre de la vision de calcul conditionnel distribué émis par Yoshua Bengio. Elle tente d'appliquer la recherche dans le domaine des mélanges d'experts aux modèles profonds pour améliorer leur vitesse ainsi que leur capacité d'optimisation. Nous croyons que la théorie et les expériences de cette thèse sont une étape importante sur la voie du calcul conditionnel distribué car elle cadre bien le problème, surtout en ce qui concerne la compétitivité des systèmes d'experts.