Distributed conditional computation

L'objectif de cette thèse est de présenter différentes applications du programme de recherche de calcul conditionnel distribué. On espère que ces applications, ainsi que la théorie présentée ici, mènera à une solution générale du problème d'intelligence artificielle, en particulier en ce qui a trait à la nécessité d'efficience. La vision du calcul conditionnel distribué consiste à accélérer l'évaluation et l'entraînement de modèles profonds, ce qui est très différent de l'objectif usuel d'améliorer sa capacité de généralisation et d'optimisation. Le travail présenté ici a des liens étroits avec les modèles de type mélange d'experts. Dans le chapitre 2, nous présentons un nouvel algorithme d'apprentissage profond qui utilise une forme simple d'apprentissage par renforcement sur un modèle d'arbre de décisions à base de réseau de neurones. Nous démontrons la nécessité d'une contrainte d'équilibre pour maintenir la distribution d'exemples aux experts uniforme et empêcher les monopoles. Pour rendre le calcul efficient, l'entrainement et l'évaluation sont contraints à être éparse en utilisant un routeur échantillonnant des experts d'une distribution multinomiale étant donné un exemple. Dans le chapitre 3, nous présentons un nouveau modèle profond constitué d'une représentation éparse divisée en segments d'experts. Un modèle de langue à base de réseau de neurones est construit à partir des transformations éparses entre ces segments. L'opération éparse par bloc est implémentée pour utilisation sur des cartes graphiques. Sa vitesse est comparée à deux opérations denses du même calibre pour démontrer le gain réel de calcul qui peut être obtenu. Un modèle profond utilisant des opérations éparses contrôlées par un routeur distinct des experts est entraîné sur un ensemble de données d'un milliard de mots. Un nouvel algorithme de partitionnement de données est appliqué sur un ensemble de mots pour hiérarchiser la couche de sortie d'un modèle de langage, la rendant ainsi beaucoup plus efficiente. Le travail présenté dans cette thèse est au centre de la vision de calcul conditionnel distribué émis par Yoshua Bengio. Elle tente d'appliquer la recherche dans le domaine des mélanges d'experts aux modèles profonds pour améliorer leur vitesse ainsi que leur capacité d'optimisation. Nous croyons que la théorie et les expériences de cette thèse sont une étape importante sur la voie du calcul conditionnel distribué car elle cadre bien le problème, surtout en ce qui concerne la compétitivité des systèmes d'experts.

Implantation des futures sur un système distribué par passage de messages

Ce mémoire présente une implantation de la création paresseuse de tâches desti- née à des systèmes multiprocesseurs à mémoire distribuée. Elle offre un sous-ensemble des fonctionnalités du Message-Passing Interface et permet de paralléliser certains problèmes qui se partitionnent difficilement de manière statique grâce à un système de partitionnement dynamique et de balancement de charge. Pour ce faire, il se base sur le langage Multilisp, un dialecte de Scheme orienté vers le traitement parallèle, et implante sur ce dernier une interface semblable à MPI permettant le calcul distribué multipro- cessus. Ce système offre un langage beaucoup plus riche et expressif que le C et réduit considérablement le travail nécessaire au programmeur pour pouvoir développer des programmes équivalents à ceux en MPI. Enfin, le partitionnement dynamique permet de concevoir des programmes qui seraient très complexes à réaliser sur MPI. Des tests ont été effectués sur un système local à 16 processeurs et une grappe à 16 processeurs et il offre de bonnes accélérations en comparaison à des programmes séquentiels équiva- lents ainsi que des performances acceptables par rapport à MPI. Ce mémoire démontre que l’usage des futures comme technique de partitionnement dynamique est faisable sur des multiprocesseurs à mémoire distribuée.

Cohésion modale et subordination : Le conditionnel et le jussif finnois au miroir de la valeur sémantique et discursive du subjonctif français

Modal cohesion and subordination. The Finnish conditional and jussive moods in comparison to the French subjunctive This study examines verb moods in subordinate clauses in French and Finnish. The first part of the analysis deals with the syntax and semantics of the French subjunctive, mood occurring mostly in subordinate positions. The second part investigates Finnish verb moods. Although subordinate positions in Finnish grammar have no special finite verb form, certain uses of Finnish verb moods have been compared to those of subjunctives and conjunctives in other languages. The present study focuses on the subordinate uses of the Finnish conditional and jussive (i.e. the third person singular and plural of the imperative mood). The third part of the analysis discusses the functions of subordinate moods in contexts beyond complex sentences. The data used for the analysis include 1834 complex sentences gathered from newspapers, online discussion groups and blog texts, as well as audio-recorded interviews and conversations. The data thus consist of both written and oral texts as well as standard and non-standard variants. The analysis shows that the French subjunctive codes theoretical modality. The subjunctive does not determine the temporal and modal meaning of the event, but displays the event as virtual. In a complex sentence, the main clause determines the temporal and modal space within which the event coded by the subjunctive clause is interpreted. The subjunctive explicitly indicates that the space constructed in the main clause extends its scope over the subordinate clause. The subjunctive can therefore serve as a means for creating modal cohesion in the discourse. The Finnish conditional shares the function of making explicit the modal link between the components of a complex construction with the French subjunctive, but the two moods differ in their semantics. The conditional codes future time and can therefore occur only in non-factual or counterfactual contexts, whereas the event expressed by French subjunctive clauses can also be interpreted as realized. Such is the case when, for instance, generic and habitual meaning is involved. The Finnish jussive mood is used in a relatively limited number of subordinate clause types, but in these contexts its modal meaning is strikingly close to that of the French subjunctive. The permissive meaning, typical of the jussive in main clause positions, is modified in complex sentences so that it entails inter-clausal relation, namely concession. Like the French subjunctive, the jussive codes theoretical modal meaning with no implication of the truth value of the proposition. Finally, the analysis shows that verb moods mark modal cohesion, not only on the syntagmatic level (namely in complexe sentences), but also on the paradigmatic axis of discourse in order to create semantic links over entire segments of talk. In this study, the subjunctive thus appears, not as an empty category without function, as it is sometimes described, but as an open form that conveys the temporal and modal meanings emerging from the context.

Distribuçāo e biologia das espécies de camarāo de águas pouco profundas

This study investigates the life cycle of the two major commercial species of prawns in Mozambique - Penaeus indicus and Metapenaeus monoceros - and their prime nursery microhabitats in the mangrove swamps.

Pratiques comptables des hôpitaux et faisabilité d'un calcul de coûts basés sur les Diagnosis Related Groups

Travaux effectués dans le cadre de l'étude "Case Mix" menée par l'Institut universitaire de médecine sociale et préventive de Lausanne et le Service de la santé publique et de la planification sanitaire du canton de Vaud, en collaboration avec les cantons de Berne, Fribourg, Genève, Jura, Neuchâtel, Soleure, Tessin et Valais

Almanac ou calendrier... : exactement calculé sur l'elevation et le meridien de Paris : où sont marquez les jours de foires, les festes qui se gardent au palais & au Châtelet, & le depart des couriers ordinaires pour le dedans & le dehors du roïaume

1699.

Arrêt de parlement qui condamne le nommé Muzier, libraire, à être admonestés, et à aumôner 3 livres au pain des prisonniers de la conciergerie, pour avoir vendu et distribué des écrits clandestins

[Acte. 1757-08-27. Paris]

Almanac ou calendrier... : exactement calculé sur l'elevation et le meridien de Paris : où sont marquez les jours de foires, les festes qui se gardent au palais & au Châtelet, & le depart des couriers ordinaires pour le dedans & le dehors du roïaume

1691-1693.

Almanac ou calendrier... : exactement calculé sur l'elevation et le meridien de Paris : où sont marquez les jours de foires, les festes qui se gardent au palais & au Châtelet, & le depart des couriers ordinaires pour le dedans & le dehors du roïaume

1694.

Almanac ou calendrier... : exactement calculé sur l'elevation et le meridien de Paris : où sont marquez les jours de foires, les festes qui se gardent au palais & au Châtelet, & le depart des couriers ordinaires pour le dedans & le dehors du roïaume

1695.

Almanac ou calendrier... : exactement calculé sur l'elevation et le meridien de Paris : où sont marquez les jours de foires, les festes qui se gardent au palais & au Châtelet, & le depart des couriers ordinaires pour le dedans & le dehors du roïaume

1698.