Superficial and deep changes of cellular mechanical properties following cytoskeleton disassembly.

The cytoskeleton, composed of actin filaments, intermediate filaments, and microtubules, is a highly dynamic supramolecular network actively involved in many essential biological mechanisms such as cellular structure, transport, movements, differentiation, and signaling. As a first step to characterize the biophysical changes associated with cytoskeleton functions, we have developed finite elements models of the organization of the cell that has allowed us to interpret atomic force microscopy (AFM) data at a higher resolution than that in previous work. Thus, by assuming that living cells behave mechanically as multilayered structures, we have been able to identify superficial and deep effects that could be related to actin and microtubule disassembly, respectively. In Cos-7 cells, actin destabilization with Cytochalasin D induced a decrease of the visco-elasticity close to the membrane surface, while destabilizing microtubules with Nocodazole produced a stiffness decrease only in deeper parts of the cell. In both cases, these effects were reversible. Cell softening was measurable with AFM at concentrations of the destabilizing agents that did not induce detectable effects on the cytoskeleton network when viewing the cells with fluorescent confocal microscopy. All experimental results could be simulated by our models. This technology opens the door to the study of the biophysical properties of signaling domains extending from the cell surface to deeper parts of the cell.

The law of the sea: the United States, Canada and the deep seabed

The Falkland Islands War of 1982 was fought over competing claims to sovereignty over a group of islands off the east coast of South America. The dispute was between Argentina and the United Kingdom. Argentina claims the islands under rights to Spanish succession, the fact that they lie off the Argentine coast line and that in 1833 Great Britain took the islands illegally and by force. The United Kingdom claims the islands primarily through prescription--the fact that they have governed the islands in a peaceful, continuous and public manner since 1833. The British also hold that the population living on the islands, roughly eighteen hundred British descendants, should be able to decide their own future. The United Kingdom also lays claim to the islands through rights of discovery and settlement, although this claim has always been challenged by Spain who until 1811 governed the islands. Both claims have legal support, and the final decision if there will ever be one is difficult to predict. Sadly today the ultimate test of sovereignty does not come through international law but remains in the idea that "He is sovereign who can defend his sovereignty." The years preceding the Argentine invasion of 1982 witnessed many diplomatic exchanges between The United Kingdom and Argentina over the future of the islands. During this time the British sent signals to Argentina that ii implied a decline in British resolve to hold the islands and demonstrated that military action did more to further the talks along than did actual negotiations. The Argentine military junta read these signals and decided that they could take the islands in a quick military invasion and that the United Kingdom would consider the act as a fait accompli and would not protest the invasion. The British in response to this claimed that they never signaled to Argentina that a military solution was acceptable to them and launched a Royal Navy task force to liberate the islands. Both governments responded to an international crisis with means that were designed both to resolve the international crisis and increase the domestic popularity of the government. British Prime Minister Margaret Thatcher was facing an all-time low in popularity for post-War Prime Ministers while Argentine President General Galtieri needed to gain mass popular support so he could remain a viable President after he was scheduled to lose command of the army and a seat on the military junta that ran the country. The military war for the Falklands is indicative of the nature of modern warfare between Third World countries. It shows that the gap in military capabilities between Third and First World countries is narrowing significantly. Modern warfare between a First and Third World country is no longer a 'walk over' for the First World country.

The wars of the gulls; : an historical romance in three chapters; chap. I, Shewing how and why and with whom the gulls went to war: chap. II, Shewing how the gulls make the deep to boil like a pot: chap. III, Shewing how a certain doughty general of the gulls goes forth to play the game of hull-gull in Upper Canada.

Transcribed on front paste-down: W.G. Phelps Oct. 29 1890.

Second Welland Canal - Book 2, Survey Map 8 - Little Deep Cut in Thorold

Survey map of the Second Welland Canal created by the Welland Canal Company showing the canal in Thorold South. Identified structures associated with the Canal include the Little Deep Cut and the towing path. The surveyors' measurements and notes can be seen in red and black ink and pencil. Local area landmarks are also identified and include streets and roads (ex. Road to Beaverdams and Road to Allanburgh), two unnamed bridges, the Spoil Bank, a pond, and the Back Water. Properties and property owners of note are: Lots 29 and 30, Jacob Keefer, John Brown, William Bouck, C. Gisso, and a property reserved for Bridge Tender.

Second Welland Canal - Book 2, Survey Map 15 - Deep Cut in Thorold

Survey map of the Second Welland Canal created by the Welland Canal Company showing the canal in the Thorold Township just south of Allanburgh. Identified structures and features associated with the Canal include the Deep Cut and the towing path. The surveyors' measurements and notes can be seen in red and black ink and pencil. Local area landmarks are also identified and include streets and roads (ex. Road to Port Robinson), and the Spoil Bank. Properties and property owners of note are: Lots 142 and 143, John J. Church, Henry Vanderburgh, and Martin Delamatter and G. Coulter.

Second Welland Canal - Book 2, Survey Map 16 - Deep Cut in Thorold

Survey map of the Second Welland Canal created by the Welland Canal Company showing the canal in the Thorold Township between Allanburg and Port Robinson. Identified structures and features associated with the Canal include the Deep Cut and the towing path. The surveyors' measurements and notes can be seen in red and black ink and pencil. Local area landmarks are also identified and include streets and roads (ex. Road to Port Allanburg), and the Spoil Bank. Properties and property owners of note are: Lots 185, 186, and 187, J. J. Church and H. Vanderburgh. Four properties adjacent to the canal are outlined in blue and labeled J through M, with L and K belonging to John Beatty, M belonging to John Coulter, and J belonging to G. Jordan (formerly belonging to John Coleman Jordan).

Second Welland Canal - Book 2, Survey Map 17 - Deep Cut and Port Robinson

Survey map of the Second Welland Canal created by the Welland Canal Company showing the canal at Port Robinson. Identified structures and features associated with the Canal include the Deep Cut, Old Channel of Canal, and the towing path. The surveyors' measurements and notes can be seen in red and black ink and pencil. Local area landmarks are also identified and include streets and roads (ex. Road to Port Allanburg), the Spoil Bank, an island, several bridges, and a church. Several unidentified structures are present but not labeled. Properties and property owners of note are: Lots 202, 203, and 204. Lot 203 is divided into several properties labeled A - J. Owners of these properties include James McCoppen, John Coulter, James Griffith, John C. Jordan, W. Hendershot, John Greer, Charles Richards, C. Stuart, and S. D. Woodruff. Other property owners include D. McFarland.

Chart of approximate quantity of excavation in slides in the deep cut

Chart of approximate quantity of excavation in slides in the deep cut, July 1, 1848.

Training deep convolutional architectures for vision

Les tâches de vision artificielle telles que la reconnaissance d’objets demeurent irrésolues à ce jour. Les algorithmes d’apprentissage tels que les Réseaux de Neurones Artificiels (RNA), représentent une approche prometteuse permettant d’apprendre des caractéristiques utiles pour ces tâches. Ce processus d’optimisation est néanmoins difficile. Les réseaux profonds à base de Machine de Boltzmann Restreintes (RBM) ont récemment été proposés afin de guider l’extraction de représentations intermédiaires, grâce à un algorithme d’apprentissage non-supervisé. Ce mémoire présente, par l’entremise de trois articles, des contributions à ce domaine de recherche. Le premier article traite de la RBM convolutionelle. L’usage de champs réceptifs locaux ainsi que le regroupement d’unités cachées en couches partageant les même paramètres, réduit considérablement le nombre de paramètres à apprendre et engendre des détecteurs de caractéristiques locaux et équivariant aux translations. Ceci mène à des modèles ayant une meilleure vraisemblance, comparativement aux RBMs entraînées sur des segments d’images. Le deuxième article est motivé par des découvertes récentes en neurosciences. Il analyse l’impact d’unités quadratiques sur des tâches de classification visuelles, ainsi que celui d’une nouvelle fonction d’activation. Nous observons que les RNAs à base d’unités quadratiques utilisant la fonction softsign, donnent de meilleures performances de généralisation. Le dernière article quand à lui, offre une vision critique des algorithmes populaires d’entraînement de RBMs. Nous montrons que l’algorithme de Divergence Contrastive (CD) et la CD Persistente ne sont pas robustes : tous deux nécessitent une surface d’énergie relativement plate afin que leur chaîne négative puisse mixer. La PCD à "poids rapides" contourne ce problème en perturbant légèrement le modèle, cependant, ceci génère des échantillons bruités. L’usage de chaînes tempérées dans la phase négative est une façon robuste d’adresser ces problèmes et mène à de meilleurs modèles génératifs.

Understanding deep architectures and the effect of unsupervised pre-training

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde.

On Recurrent and Deep Neural Networks

L'apprentissage profond est un domaine de recherche en forte croissance en apprentissage automatique qui est parvenu à des résultats impressionnants dans différentes tâches allant de la classification d'images à la parole, en passant par la modélisation du langage. Les réseaux de neurones récurrents, une sous-classe d'architecture profonde, s'avèrent particulièrement prometteurs. Les réseaux récurrents peuvent capter la structure temporelle dans les données. Ils ont potentiellement la capacité d'apprendre des corrélations entre des événements éloignés dans le temps et d'emmagasiner indéfiniment des informations dans leur mémoire interne. Dans ce travail, nous tentons d'abord de comprendre pourquoi la profondeur est utile. Similairement à d'autres travaux de la littérature, nos résultats démontrent que les modèles profonds peuvent être plus efficaces pour représenter certaines familles de fonctions comparativement aux modèles peu profonds. Contrairement à ces travaux, nous effectuons notre analyse théorique sur des réseaux profonds acycliques munis de fonctions d'activation linéaires par parties, puisque ce type de modèle est actuellement l'état de l'art dans différentes tâches de classification. La deuxième partie de cette thèse porte sur le processus d'apprentissage. Nous analysons quelques techniques d'optimisation proposées récemment, telles l'optimisation Hessian free, la descente de gradient naturel et la descente des sous-espaces de Krylov. Nous proposons le cadre théorique des méthodes à région de confiance généralisées et nous montrons que plusieurs de ces algorithmes développés récemment peuvent être vus dans cette perspective. Nous argumentons que certains membres de cette famille d'approches peuvent être mieux adaptés que d'autres à l'optimisation non convexe. La dernière partie de ce document se concentre sur les réseaux de neurones récurrents. Nous étudions d'abord le concept de mémoire et tentons de répondre aux questions suivantes: Les réseaux récurrents peuvent-ils démontrer une mémoire sans limite? Ce comportement peut-il être appris? Nous montrons que cela est possible si des indices sont fournis durant l'apprentissage. Ensuite, nous explorons deux problèmes spécifiques à l'entraînement des réseaux récurrents, à savoir la dissipation et l'explosion du gradient. Notre analyse se termine par une solution au problème d'explosion du gradient qui implique de borner la norme du gradient. Nous proposons également un terme de régularisation conçu spécifiquement pour réduire le problème de dissipation du gradient. Sur un ensemble de données synthétique, nous montrons empiriquement que ces mécanismes peuvent permettre aux réseaux récurrents d'apprendre de façon autonome à mémoriser des informations pour une période de temps indéfinie. Finalement, nous explorons la notion de profondeur dans les réseaux de neurones récurrents. Comparativement aux réseaux acycliques, la définition de profondeur dans les réseaux récurrents est souvent ambiguë. Nous proposons différentes façons d'ajouter de la profondeur dans les réseaux récurrents et nous évaluons empiriquement ces propositions.

Deep learning of representations and its application to computer vision

L’objectif de cette thèse par articles est de présenter modestement quelques étapes du parcours qui mènera (on espère) à une solution générale du problème de l’intelligence artificielle. Cette thèse contient quatre articles qui présentent chacun une différente nouvelle méthode d’inférence perceptive en utilisant l’apprentissage machine et, plus particulièrement, les réseaux neuronaux profonds. Chacun de ces documents met en évidence l’utilité de sa méthode proposée dans le cadre d’une tâche de vision par ordinateur. Ces méthodes sont applicables dans un contexte plus général, et dans certains cas elles on tété appliquées ailleurs, mais ceci ne sera pas abordé dans le contexte de cette de thèse. Dans le premier article, nous présentons deux nouveaux algorithmes d’inférence variationelle pour le modèle génératif d’images appelé codage parcimonieux “spike- and-slab” (CPSS). Ces méthodes d’inférence plus rapides nous permettent d’utiliser des modèles CPSS de tailles beaucoup plus grandes qu’auparavant. Nous démontrons qu’elles sont meilleures pour extraire des détecteur de caractéristiques quand très peu d’exemples étiquetés sont disponibles pour l’entraînement. Partant d’un modèle CPSS, nous construisons ensuite une architecture profonde, la machine de Boltzmann profonde partiellement dirigée (MBP-PD). Ce modèle a été conçu de manière à simplifier d’entraînement des machines de Boltzmann profondes qui nécessitent normalement une phase de pré-entraînement glouton pour chaque couche. Ce problème est réglé dans une certaine mesure, mais le coût d’inférence dans le nouveau modèle est relativement trop élevé pour permettre de l’utiliser de manière pratique. Dans le deuxième article, nous revenons au problème d’entraînement joint de machines de Boltzmann profondes. Cette fois, au lieu de changer de famille de modèles, nous introduisons un nouveau critère d’entraînement qui donne naissance aux machines de Boltzmann profondes à multiples prédictions (MBP-MP). Les MBP-MP sont entraînables en une seule étape et ont un meilleur taux de succès en classification que les MBP classiques. Elles s’entraînent aussi avec des méthodes variationelles standard au lieu de nécessiter un classificateur discriminant pour obtenir un bon taux de succès en classification. Par contre, un des inconvénients de tels modèles est leur incapacité de générer deséchantillons, mais ceci n’est pas trop grave puisque la performance de classification des machines de Boltzmann profondes n’est plus une priorité étant donné les dernières avancées en apprentissage supervisé. Malgré cela, les MBP-MP demeurent intéressantes parce qu’elles sont capable d’accomplir certaines tâches que des modèles purement supervisés ne peuvent pas faire, telles que celle de classifier des données incomplètes ou encore celle de combler intelligemment l’information manquante dans ces données incomplètes. Le travail présenté dans cette thèse s’est déroulé au milieu d’une période de transformations importantes du domaine de l’apprentissage à réseaux neuronaux profonds qui a été déclenchée par la découverte de l’algorithme de “dropout” par Geoffrey Hinton. Dropout rend possible un entraînement purement supervisé d’architectures de propagation unidirectionnel sans être exposé au danger de sur- entraînement. Le troisième article présenté dans cette thèse introduit une nouvelle fonction d’activation spécialement con ̧cue pour aller avec l’algorithme de Dropout. Cette fonction d’activation, appelée maxout, permet l’utilisation de aggrégation multi-canal dans un contexte d’apprentissage purement supervisé. Nous démontrons comment plusieurs tâches de reconnaissance d’objets sont mieux accomplies par l’utilisation de maxout. Pour terminer, sont présentons un vrai cas d’utilisation dans l’industrie pour la transcription d’adresses de maisons à plusieurs chiffres. En combinant maxout avec une nouvelle sorte de couche de sortie pour des réseaux neuronaux de convolution, nous démontrons qu’il est possible d’atteindre un taux de succès comparable à celui des humains sur un ensemble de données coriace constitué de photos prises par les voitures de Google. Ce système a été déployé avec succès chez Google pour lire environ cent million d’adresses de maisons.