Improving sampling, optimization and feature extraction in Boltzmann machines

L’apprentissage supervisé de réseaux hiérarchiques à grande échelle connaît présentement un succès fulgurant. Malgré cette effervescence, l’apprentissage non-supervisé représente toujours, selon plusieurs chercheurs, un élément clé de l’Intelligence Artificielle, où les agents doivent apprendre à partir d’un nombre potentiellement limité de données. Cette thèse s’inscrit dans cette pensée et aborde divers sujets de recherche liés au problème d’estimation de densité par l’entremise des machines de Boltzmann (BM), modèles graphiques probabilistes au coeur de l’apprentissage profond. Nos contributions touchent les domaines de l’échantillonnage, l’estimation de fonctions de partition, l’optimisation ainsi que l’apprentissage de représentations invariantes. Cette thèse débute par l’exposition d’un nouvel algorithme d'échantillonnage adaptatif, qui ajuste (de fa ̧con automatique) la température des chaînes de Markov sous simulation, afin de maintenir une vitesse de convergence élevée tout au long de l’apprentissage. Lorsqu’utilisé dans le contexte de l’apprentissage par maximum de vraisemblance stochastique (SML), notre algorithme engendre une robustesse accrue face à la sélection du taux d’apprentissage, ainsi qu’une meilleure vitesse de convergence. Nos résultats sont présent ́es dans le domaine des BMs, mais la méthode est générale et applicable à l’apprentissage de tout modèle probabiliste exploitant l’échantillonnage par chaînes de Markov. Tandis que le gradient du maximum de vraisemblance peut-être approximé par échantillonnage, l’évaluation de la log-vraisemblance nécessite un estimé de la fonction de partition. Contrairement aux approches traditionnelles qui considèrent un modèle donné comme une boîte noire, nous proposons plutôt d’exploiter la dynamique de l’apprentissage en estimant les changements successifs de log-partition encourus à chaque mise à jour des paramètres. Le problème d’estimation est reformulé comme un problème d’inférence similaire au filtre de Kalman, mais sur un graphe bi-dimensionnel, où les dimensions correspondent aux axes du temps et au paramètre de température. Sur le thème de l’optimisation, nous présentons également un algorithme permettant d’appliquer, de manière efficace, le gradient naturel à des machines de Boltzmann comportant des milliers d’unités. Jusqu’à présent, son adoption était limitée par son haut coût computationel ainsi que sa demande en mémoire. Notre algorithme, Metric-Free Natural Gradient (MFNG), permet d’éviter le calcul explicite de la matrice d’information de Fisher (et son inverse) en exploitant un solveur linéaire combiné à un produit matrice-vecteur efficace. L’algorithme est prometteur: en terme du nombre d’évaluations de fonctions, MFNG converge plus rapidement que SML. Son implémentation demeure malheureusement inefficace en temps de calcul. Ces travaux explorent également les mécanismes sous-jacents à l’apprentissage de représentations invariantes. À cette fin, nous utilisons la famille de machines de Boltzmann restreintes “spike & slab” (ssRBM), que nous modifions afin de pouvoir modéliser des distributions binaires et parcimonieuses. Les variables latentes binaires de la ssRBM peuvent être rendues invariantes à un sous-espace vectoriel, en associant à chacune d’elles, un vecteur de variables latentes continues (dénommées “slabs”). Ceci se traduit par une invariance accrue au niveau de la représentation et un meilleur taux de classification lorsque peu de données étiquetées sont disponibles. Nous terminons cette thèse sur un sujet ambitieux: l’apprentissage de représentations pouvant séparer les facteurs de variations présents dans le signal d’entrée. Nous proposons une solution à base de ssRBM bilinéaire (avec deux groupes de facteurs latents) et formulons le problème comme l’un de “pooling” dans des sous-espaces vectoriels complémentaires.

Approche systémique pour la composition d’œuvres acousmatiques, mixtes, vidéomusicales et pluridisciplinaires

Cette thèse est une exploration de mon processus compositionnel. En tentant de comprendre comment s’organise ma pensée créatrice, j’ai dégagé trois observations : l’organicisme du processus et des œuvres, la notion de mouvement et la relation récursive entre la matière et le compositeur. Ces thèmes m’ont amené à établir un lien épistémologique entre la composition musicale et l’étude des systèmes complexes. Dans ce cadre systémique, j’ai établi que les informations qui motivent mes prises de décision artistiques ont entre elles des ramifications opérationnelles et structurelles qui évoquent une arborescence rhizomatique plutôt qu’une hiérarchie linéaire. La transdisciplinarité propre à la systémique m’a également permis d’introduire des notions provenant d’autres champs de recherche. S’articulant d’emblée avec mon processus compositionnel, ces notions m’ont procuré une vision holistique de ma démarche artistique. Conséquemment, je considère l’acte de composer comme une interaction entre ma conscience et tout ce qui peut émaner de la matière sonore, les deux s’informant l’une et l’autre dans une boucle récursive que je nomme action⟳perception. L’œuvre ainsi produite n’est pas exclusivement tributaire de ma propre volition puisque, au fil du processus, mes décisions opératoires et artistiques sont en grande partie guidées par les propriétés invariantes et les propriétés morphogéniques inhérentes au matériau sonore. Cette approche dynamique n’est possible que si l’interaction avec le compositeur se fait en temps réel, ce que permet la lutherie numérique. Les résultats de mes recherches m’ont guidé dans la composition d’œuvres choisies, autant acousmatiques, mixtes, vidéomusicales que pluridisciplinaires.

Invariant discretizations of partial differential equations

Un algorithme permettant de discrétiser les équations aux dérivées partielles (EDP) tout en préservant leurs symétries de Lie est élaboré. Ceci est rendu possible grâce à l'utilisation de dérivées partielles discrètes se transformant comme les dérivées partielles continues sous l'action de groupes de Lie locaux. Dans les applications, beaucoup d'EDP sont invariantes sous l'action de transformations ponctuelles de Lie de dimension infinie qui font partie de ce que l'on désigne comme des pseudo-groupes de Lie. Afin d'étendre la méthode de discrétisation préservant les symétries à ces équations, une discrétisation des pseudo-groupes est proposée. Cette discrétisation a pour effet de transformer les symétries ponctuelles en symétries généralisées dans l'espace discret. Des schémas invariants sont ensuite créés pour un certain nombre d'EDP. Dans tous les cas, des tests numériques montrent que les schémas invariants approximent mieux leur équivalent continu que les différences finies standard.

Arquitectura popular asturiana.

Debido a la diversidad de materiales, formas, usos y organización de los espacios en Asturias se genera una gran riqueza de variantes e invariantes constructivas. Los autores hacen una primera aproximación a la arquitectura asturiana refiriendose a los tipos que aparecen más reiterativamente. Se recogen y estudian los distintos tipos de vivienda, entre las que se encuentran las casas con cubierta vegetal, de habitación terrena, la casa mariñana, de portal y portalón, las de corredor, los cerramientos del corredor, las galerías, las casas herméticas, las casas con escalera exterior, las de pescadores y la casa semiurbana, típicas de la arquitectura popular asturiana, por otro lado se contemplan también las construcciones auxiliares o complementarias como la cuadra-pajar, las cuadras de ganado menor, el horreo, panera, cabazo y su decoración, el tendejón, los molinos, los hornos, los lagares y las bodegas. se explican sus elementos, usos, lugares donde aparecen, materiales de construcción usados,... Se ofrecen planos y fotos.

La generalización en un tipo particular de sucesiones aritméticas : los problemas de generalización lineal.

Resumen del autor. Resumen en español e inglés

El patrón de exploración modula la percepción de longitudes a través del tacto dinámico.

Resumen tomado de la publicación

Psicología cultural: una aproximación conceptual e histórica al encuentro entre mente y cultura

El objetivo de este trabajo es analizar diferentes posiciones teóricas que sitúan como centro de debate el análisis de los aspectos diferenciales del funcionamiento mental y de las causas que generan tales diferencias. Son perspectivas que, en cierto sentido y en distinto grado, abandonan la posición hegemónica detentada por el estudio de los aparentes invariantes de la mente. Con ello se pretende resaltar algunas claves conceptuales que nos permiten entender el presente de dicha disciplina. En concreto exploraremos dos líneas de pensamiento interesadas en analizar el papel de la cultura en la vida mental. Una primera arranca de la tradición positivista y realista de la Ilustración, teniendo su versión más actualizada en la Psicología Transcultural. Una segunda proviene de posiciones relativistas como la que encarna el movimiento de la Revolución Romántica contra el racionalismo de la Ilustración. Esta toma forma en la segunda psicología de Wundt

La actividad humana en la psicología histórico-cultural

El objetivo de este trabajo es analizar diferentes posiciones teóricas que sitúan como centro de debate el análisis de los aspectos diferenciales del funcionamiento mental y de las causas que generan tales diferencias. Son perspectivas que, en cierto sentido y en distinto grado, abandonan la posición hegemónica detentada por el estudio de los aparentes invariantes de la mente. Con ello se pretende resaltar algunas claves conceptuales que nos permiten entender el presente de dicha disciplina. En concreto exploraremos dos líneas de pensamiento interesadas en analizar el papel de la cultura en la vida mental. Una primera arranca de la tradición positivista y realista de la Ilustración, teniendo su versión más actualizada en la Psicología Transcultural. Una segunda proviene de posiciones relativistas como la que encarna el movimiento de la Revolución Romántica contra el racionalismo de la Ilustración. Esta toma forma en la segunda psicología de Wundt

Soliloqui humil d'una mestra davant l'educació per competencies. 'Soliloquio humilde de una docente delante la educación para competéncias'.

En la escuela debe fluir la vida en todas sus dimensiones, como en un buen mercado en la plaza mayor del pueblo, y con el miedo que el mundo económico dicte las pautas de conducta del mundo educativo. Se defiende también que por encimad e las modas efímeras y de los intereses económicos permanentes hay unas invariantes pedagógicas que persisten en el oficio de ayudar a vivir.

Educación y sociedad de consumo. Bases para un modelo de interpretación.

Interpretar el fenómeno educativo en la sociedad de consumo y diseñar las bases para la interpretación de la educación en el actual contexto social. Concepto de educación en una sociedad de consumo. Expone el significado de educación dentro de la sociedad de consumo. Define el concepto de sociedad de consumo y sus implicaciones en la definición de educación. Desarrolla el tema de la educación en la sociedad de consumo bajo la perspectiva de la Filosofía del Lenguaje. Bibliografía. Cuestiona la insuficiencia de la semántica y de la semiótica y reivindica el ámbito pragmático ya que es crucial para la interpretación de la comunicación. Cuestiona la validez de los modelos conductistas para analizar la relación educativa y propone planteamientos que efectúan una lectura del discurso pedagógico y que perciben la relación educando-educador como actos del habla contextualizados en una situación concreta. Para captar el significado de educación hay que referirlo a las coordenadas sociales en las que la palabra se pronuncia. Las invariantes y funciones textuales que explican la coherencia desde la que se puede interpretar un discurso superficial, tienen notable interés para una hermenéutica de la educación en el contexto de la sociedad de consumo. La relación educativa es constitutivamente normativa debido a su carácter lingüístico y comunicativo.

Efectividad de un laboratorio guiado por el modelo de aprendizaje MATLaF para el desarrollo conceptual asociado a tareas experimentales.

Resumen tomado de la publicación

Introducción a los sistemas lineales y al análisis de Fourier.

Realizado en la Escuela Universitaria de Informática de la Universidad Pontificia de Salamanca, por 4 profesores del centro para las asignaturas de Fundamentos Matemáticos I, Transmisión de Datos y Ampliación de Matemáticas de las titulaciones de Ingeniería Técnica de Informática de Sistemas, Ingeniería de Informática de Gestión e Ingeniería Superior de Informática. Se pretende proporcionar al alumno una justificación concisa de los conceptos matemáticos sobre los que se sustenta el análisis de Fourier y su relación con los sistemas lineales invariantes. Para ello, se desarrolla un material práctico, innovador, gráfico que potencie la compresión de los conceptos teóricos. Para el desarrollo de esta unidad didáctica, se exponen los contenidos, se desarrollan y después vienen una serie de problemas propuestos y resueltos representativos. Como propuesta adicional, se ha creado información estructurada en formato página Web, puesto que facilita la comprensión del alumno, mediante las técnicas más habituales de presentación gráfica o animación. El proyecto ha sido evaluado por unos candidatos seleccionados al principio del proyecto, en la memoria se adjunta el informe de cada uno de ellos.

Límites y posibilidades de la acción pedagógica en educación social.

Resumen en inglés. Monográfico con el título: La acción pedagógica en la educación social: invariantes, fronteras y dilemas

La resiliencia : algo más que un concepto fronterizo.

Resumen en inglés. Monográfico con el título: La acción pedagógica en la educación social: invariantes, fronteras y dilemas

El aspecto relacional del trabajo del educador social.

Resumen en inglés. Monográfico con el título: La acción pedagógica en la educación social: invariantes, fronteras y dilemas