Working Memory Networks for Learning Temporal Order, with Application to 3-D Visual Object Recognition

Working memory neural networks are characterized which encode the invariant temporal order of sequential events. Inputs to the networks, called Sustained Temporal Order REcurrent (STORE) models, may be presented at widely differing speeds, durations, and interstimulus intervals. The STORE temporal order code is designed to enable all emergent groupings of sequential events to be stably learned and remembered in real time, even as new events perturb the system. Such a competence is needed in neural architectures which self-organize learned codes for variable-rate speech perception, sensory-motor planning, or 3-D visual object recognition. Using such a working memory, a self-organizing architecture for invariant 3-D visual object recognition is described. The new model is based on the model of Seibert and Waxman (1990a), which builds a 3-D representation of an object from a temporally ordered sequence of its 2-D aspect graphs. The new model, called an ARTSTORE model, consists of the following cascade of processing modules: Invariant Preprocessor --> ART 2 --> STORE Model --> ART 2 --> Outstar Network.

The short and long of it: neural correlates of temporal-order memory for autobiographical events.

Previous functional neuroimaging studies of temporal-order memory have investigated memory for laboratory stimuli that are causally unrelated and poor in sensory detail. In contrast, the present functional magnetic resonance imaging (fMRI) study investigated temporal-order memory for autobiographical events that were causally interconnected and rich in sensory detail. Participants took photographs at many campus locations over a period of several hours, and the following day they were scanned while making temporal-order judgments to pairs of photographs from different locations. By manipulating the temporal lag between the two locations in each trial, we compared the neural correlates associated with reconstruction processes, which we hypothesized depended on recollection and contribute mainly to short lags, and distance processes, which we hypothesized to depend on familiarity and contribute mainly to longer lags. Consistent with our hypotheses, parametric fMRI analyses linked shorter lags to activations in regions previously associated with recollection (left prefrontal, parahippocampal, precuneus, and visual cortices), and longer lags with regions previously associated with familiarity (right prefrontal cortex). The hemispheric asymmetry in prefrontal cortex activity fits very well with evidence and theories regarding the contributions of the left versus right prefrontal cortex to memory (recollection vs. familiarity processes) and cognition (systematic vs. heuristic processes). In sum, using a novel photo-paradigm, this study provided the first evidence regarding the neural correlates of temporal-order for autobiographical events.

Spatial imagery preserves temporal order.

Line drawings were presented in either a spatial or a nonspatial format. Subjects recalled each of four sets of 24 items in serial order. Amount recalled in the correct serial order and sequencing errors were scored. In Experiment 1 items appeared either in consecutive locations of a matrix or in one central location. Subjects who saw the items in different locations made fewer sequencing errors than those who saw each item in a central location, but serial recall levels for these two conditions did not differ. When items appeared in nonconsecutive locations in Experiment 2, the advantage of the spatial presentation on sequencing errors disappeared. Experiment 3 included conditions in which both the consecutive and nonconsecutive spatial formats were paired with retrieval cues that either did or did not indicate the sequence of locations in which the items had appeared. Spatial imagery aided sequencing when, and only when, the order of locations in which the stimuli appeared could be reconstructed at retrieval.

Children’s Reasoning About the Temporal Order of Past and Future Events

Four- and five-year-olds completed two sets of tasks that involved reasoning about the temporal order in which events had occurred in the past or were to occur in the future. Four-year-olds succeeded on the tasks that involved reasoning about the order of past events but not those that involved reasoning about the order of future events, whereas 5-year-olds passed both types of tasks. Individual children who failed the past-event tasks were not particularly likely to fail the more difficult future-event tasks. However, children's performance on the reasoning tasks was predictive of their performance on a task assessing their comprehension of the terms “before” and “after.” Our results suggest that there may be a developmental change over this age range in the ability to flexibly represent and reason about the before-and-after relationships between events.

Plastic brain mechanisms for attaining auditory temporal order judgment proficiency.

Accurate perception of the order of occurrence of sensory information is critical for the building up of coherent representations of the external world from ongoing flows of sensory inputs. While some psychophysical evidence reports that performance on temporal perception can improve, the underlying neural mechanisms remain unresolved. Using electrical neuroimaging analyses of auditory evoked potentials (AEPs), we identified the brain dynamics and mechanism supporting improvements in auditory temporal order judgment (TOJ) during the course of the first vs. latter half of the experiment. Training-induced changes in brain activity were first evident 43-76 ms post stimulus onset and followed from topographic, rather than pure strength, AEP modulations. Improvements in auditory TOJ accuracy thus followed from changes in the configuration of the underlying brain networks during the initial stages of sensory processing. Source estimations revealed an increase in the lateralization of initially bilateral posterior sylvian region (PSR) responses at the beginning of the experiment to left-hemisphere dominance at its end. Further supporting the critical role of left and right PSR in auditory TOJ proficiency, as the experiment progressed, responses in the left and right PSR went from being correlated to un-correlated. These collective findings provide insights on the neurophysiologic mechanism and plasticity of temporal processing of sounds and are consistent with models based on spike timing dependent plasticity.

Mechanisms underlying the sensitivity of songbird forebrain neurons to temporal order.

Neurons in the songbird forebrain area HVc (hyperstriatum ventrale pars caudale or high vocal center) are sensitive to the temporal structure of the bird's own song and are capable of integrating auditory information over a period of several hundred milliseconds. Extracellular studies have shown that the responses of some HVc neurons depend on the combination and temporal order of syllables from the bird's own song, but little is known about the mechanisms underlying these response properties. To investigate these mechanisms, we recorded intracellular responses to a set of auditory stimuli designed to assess the degree of dependence of the responses on temporal context. This report provides evidence that HVc neurons encode information about temporal structure by using a variety of mechanisms including syllable-specific inhibition, excitatory postsynaptic potentials with a range of different time courses, and burst-firing nonlinearity. The data suggest that the sensitivity of HVc neurons to temporal combinations of syllables results from the interactions of several cells and does not arise in a single step from afferent inputs alone.

Converging evidence that common timing processes underlie temporal-order and simultaneity judgments: a model-based analysis

Perception of simultaneity and temporal order is studied with simultaneity judgment (SJ) and temporal-order judgment (TOJ) tasks. In the former, observers report whether presentation of two stimuli was subjectively simultaneous; in the latter, they report which stimulus was subjectively presented first. SJ and TOJ tasks typically give discrepant results, which has prompted the view that performance is mediated by different processes in each task. We looked at these discrepancies from a model that yields psychometric functions whose parameters characterize the timing, decisional, and response processes involved in SJ and TOJ tasks. We analyzed 12 data sets from published studies in which both tasks had been used in within-subjects designs, all of which had reported differences in performance across tasks. Fitting the model jointly to data from both tasks, we tested the hypothesis that common timing processes sustain simultaneity and temporal order judgments, with differences in performance arising from task-dependent decisional and response processes. The results supported this hypothesis, also showing that model psychometric functions account for aspects of SJ and TOJ data that classical analyses overlook. Implications for research on perception of simultaneity and temporal order are discussed.

Fitting model-based psychometric functions to simultaneity and temporal-order judgment data: MATLAB and R routines

Research on temporal-order perception uses temporal-order judgment (TOJ) tasks or synchrony judgment (SJ) tasks in their binary SJ2 or ternary SJ3 variants. In all cases, two stimuli are presented with some temporal delay, and observers judge the order of presentation. Arbitrary psychometric functions are typically fitted to obtain performance measures such as sensitivity or the point of subjective simultaneity, but the parameters of these functions are uninterpretable. We describe routines in MATLAB and R that fit model-based functions whose parameters are interpretable in terms of the processes underlying temporal-order and simultaneity judgments and responses. These functions arise from an independent-channels model assuming arrival latencies with exponential distributions and a trichotomous decision space. Different routines fit data separately for SJ2, SJ3, and TOJ tasks, jointly for any two tasks, or also jointly for the three tasks (for common cases in which two or even the three tasks were used with the same stimuli and participants). Additional routines provide bootstrap p-values and confidence intervals for estimated parameters. A further routine is included that obtains performance measures from the fitted functions. An R package for Windows and source code of the MATLAB and R routines are available as Supplementary Files.

On the discrepant results in synchrony judgment and temporal-order judgment tasks: a quantitative model.

Research on the perception of temporal order uses either temporal-order judgment (TOJ) tasks or synchrony judgment (SJ) tasks, in both of which two stimuli are presented with some temporal delay and observers must judge the order of presentation. Results generally differ across tasks, raising concerns about whether they measure the same processes. We present a model including sensory and decisional parameters that places these tasks in a common framework that allows studying their implications on observed performance. TOJ tasks imply specific decisional components that explain the discrepancy of results obtained with TOJ and SJ tasks. The model is also tested against published data on audiovisual temporal-order judgments, and the fit is satisfactory, although model parameters are more accurately estimated with SJ tasks. Measures of latent point of subjective simultaneity and latent sensitivity are defined that are invariant across tasks by isolating the sensory parameters governing observed performance, whereas decisional parameters vary across tasks and account for observed differences across them. Our analyses concur with other evidence advising against the use of TOJ tasks in research on perception of temporal order.

Respiratory rhythms in stingless bee workers: circadian and ultradian components throughout adult development

The workers of the stingless bee, Melipona quadrifasciata, assume different tasks during their adult life. Newly emerged individuals remain inside the nest, without contact with the external environment. Maturing workers go to more peripheral regions and only the oldest, the foragers, leave the nest. As this diversity of activities implies different metabolic patterns, oxygen consumption has been measured in workers of three different ages: 24-48 h (nurses), 10-15 days (builders), and older than 25 days (foragers). Oxygen consumption of individually isolated workers was determined by intermittent respirometry, under constant darkness and temperature of 25 +/- 1 degrees C. Sets of 24-h measurements were obtained from individuals belonging to each of the three worker groups. Rhythmicity has been assessed in the daily (24 h) and ultradian (5-14 h) domains. This experimental design allowed detection of endogenous rhythms without the influence of the social group and without inflicting stress on the individuals, as would be caused by their longer isolation from the colony. Significant 24-h rhythms in oxygen consumption were present in nurses, builders and foragers; therefore, workers are rhythmic from the age of 24-48 h. However, the amplitude of the circadian rhythm changed according to age: nurses showed the lowest values, while foragers consistently presented the largest ones, about ten times larger than the amplitude of nurses` respiratory rhythm. Ultradian frequencies were detected for all worker groups, the power and frequencies of which varied little with age. This means that the ultradian strength was relatively larger in nurses and apparently maintains some relationship with the queen`s oviposition episodes.

External temporal organization in biological rhythms

This paper is intended as a proposition of a new concept in the field of chronobiology, External Temporal Organization, a notion complementary to that of the Internal Temporal Organization. We will try to explain the possibility that a set of external elements, that occur in a particular order, can act together as a single synchronizing element of the circadian system. We will see that this is not a zeitgeber, in the classic sense, but a much more complex factor, consisting of several elements that appear in the real environment at different times ( phases), constituting as a whole a powerful temporal frame, closer to the way the stimuli occur in the natural environment, in which the entrainment does not take place just in a specific time of the day.

Temporal acuity in developmental dyslexia across the life span : Tactile, auditory, visual, and crossmodal estimations

Taustaa Kehityksellinen dysleksia (lukivaikeus) on erityinen lukemaan oppimisen vaikeus, johon liittyy usein myös vaikeuksia kirjoittamaan oppimisessa. Lukivaikeuden oletetaan useissa tapauksissa johtuvan vaikeudesta käsitellä kielen äännerakenteita (fonologinen prosessointi). Tämä poikkeavuus voi olla joko lukivaikeuden perimmäinen syy tai vaihtoehtoisesti ongelmat äänteiden käsittelyssä voivat heijastaa jotain vielä perustavamman tason vaikeutta. Eräs tällainen ehdotettu perustavan tasoin syy on poikkeavuus aistien toiminnoissa, erityisesti aistien aikatarkkuudessa. Aikatarkkuudella tarkoitetaan kykyä ja rajoja siinä, kuinka nopeasti esitettyä aistitiedon virtaa henkilö kykenee vastaanottamaan ja käsittelemään. Monet arjen toiminnot lukemisen rinnalla edellyttävät aistien erittäin tarkkaa ajallista erottelukykyä (esimerkiksi kuulo puheen ymmärtämisessä, tunto pintamateriaalin tunnistamisessa). Aikatarkkuusvaikeuksien esiintyvyyttä lukivaikeudessa on tutkittu aiemminkin, mutta yksimielisyyteen ei ole päästy siitä, onko kaikilla lukivaikeuksisilla näitä ongelmia tai mihin aisteihin vaikeudet mahdollisesti rajoittuvat. Myöskään ei tiedetä, havaitaanko aikatarkkuuden ongelmia kaiken ikäisillä lukivaikeuksisilla vai vaihteleeko mahdollinen ongelmien kuva iän mukana. Lisäksi on epäselvää, kuinka aikatarkkuuden ongelmat itseasiassa ovat yhteydessä kielen käsittelyn ja varsinaisen lukemisen vaikeuksiin. Tutkimussarjan aihe Tässä tutkimussarjassa aikatarkkuutta tutkittiin kolmessa yksittäisessä aistissa, joita olivat tunto, näkö ja kuulo, sekä kolmessa aistien välisessä yhdistelmässä, joita olivat audiotaktiilinen (kuulo-tunto), visuotaktiilinen (näkö-tunto) ja audiovisuaalinen (näkö-kuulo). Aikatarkkuutta arvioitiin kahdella eri menetelmällä, jotta saataisiin lisää tietoa siitä, missä tietyssä aikatarkkuuden osa-alueessa lukivaikeuksisilla mahdollisesti on vaikeuksia. Ensimmäisessä tehtävässä tutkittavan tuli arvioida, ovatko esitetyt ei-kielelliset ärsykkeet samanaikaisia vai eriaikaisia. Toisessa tehtävässä koehenkilön tuli arvioida esitettyjen ei-kielellisten ärsykkeiden esitysjärjestys. Molemmissa tehtävissä määriteltiin millisekuntitasolla (sekunnin tuhannesosa) se esitysnopeus, jolla koehenkilö kykeni arvioimaan ärsykkeiden ajalliset suhteet oikein. Englanninkielinen demonstraatio aikatarkkuustehtävistä löytyy internetistä (http://www.helsinki.fi/hum/ylpsy/neuropsy). Itse aikatarkkuustehtävien lisäksi tutkimussarjassa arvioitiin tutkimushenkilöiden päättelykykyä, kielellisiä toimintoja ja lukemista. Tutkimushenkilöt Tutkimuksiin osallistui 53 lukivaikeuksista ja 66 sujuvaa lukijaa, jotka oli jaettu kolmeen pääikäryhmään: lapset (8-12 vuotta), nuoret aikuiset (20-36 vuotta) ja ikääntyneemmät aikuiset (20-59 vuotta). Ikääntyneempien aikuisten ryhmä oli edelleen jaettu ikävuosikymmenluokkiin, mikä mahdollisti sen tutkimisen, vaikuttaako lisääntyvä aikuisikä lukivaikeuksisten aikatarkkuuteen (20-29, 30-39, 40-49 ja 50-59 -vuotiaat). Tutkimussarjan tulokset Aikatarkkuuden ongelmat lukivaikeuksisilla olivat yleistyneitä yli iän, aistien ja tehtävien Lukivaikeuksiset kaikissa pääikäryhmissä (lapset, nuoret aikuiset, ikääntyneemmän aikuiset) tarvitsivat samanikäisiä sujuvia lukijoita hitaamman esitystahdin, jotta he kykenivät arvioimaan ei-kielellisten ärsykkeiden ajallisen esitystavan oikein. Tämä aikatarkkuuden ongelma havaittiin lukivaikeuksisilla kaikissa aisteissa (tunto, kuulo, näkö) ja niiden yhdistelmissä (audiotaktiilinen, visuotaktiilinen, audiovisuaalinen). Lukivaikeuksisten aikatarkkuusongelmat ilmenivät edelleen molemmissa tehtävätyypeissä (samanaikaisuuden ja järjestyksen arvioinnissa). Aikatarkkuus ja sen ongelmat olivat yhteydessä äänteiden käsittelyyn Aikatarkkuus oli yhteydessä äänteiden käsittelykykyyn (fonologiseen prosessointiin), niin lapsilla kuin aikuisillakin, kaikissa aisteissa, niiden yhdistelmissä ja tehtävätyypeissä. Yhteys ei-kielellisen aikatarkkuuden ja kielellisten toimintojen välillä oli kuitenkin selkeämpi lukivaikeuksisilla kuin sujuvilla lukijoilla. Tämä tarkoittaa, että etenkin lukivaikeuksisilla ryhmätason huono aikatarkkuus oli yhteydessä huonoon äänteiden käsittelyyn (fonologiseen prosessointiin) ja päinvastoin. Suoraa yhteyttä lukemisen ja aikatarkkuuden välillä ei kuitenkaan havaittu. Lisääntyvä aikuisikä heikensi lukivaikeuksisten aikatarkkuutta suhteettoman paljon Tiedonkäsittelyn nopeuden on toistuvasti osoitettu hidastuvan normaalissa ikääntymisessä. Lisääntyvä aikuisikä (20-59 -vuotiailla) heikensikin sekä sujuvien että lukivaikeuksisten aikatarkkuutta. Toisin sanoen, mitä iäkkäämmästä aikuisesta oli kysymys, sitä hitaammin hänelle tuli esittää ärsykkeet, jotta hän kykeni arvioimaan niiden ajalliset suhteet oikein. Tämä ikään liittyvä tavanomainen hidastuminen oli kuitenkin yllättäen suhteettoman nopeaa lukivaikeuksisilla. Toisin sanoen, jo nuorilla lukivaikeuksisilla havaittu aikatarkkuuden vaikeus (ryhmäero verrattuna sujuviin lukijoihin) ei pysynyt saman suuruisena, vaan ryhmien ero kasvoi aikuisiän lisääntyessä. Tulosten merkitys Lukivaikeuden osoitettiin tässä tutkimussarjassa olevan yhteydessä yleistyneeseen vaikeuteen käsitellä ajassa nopeasti muuttuvaa ei-kielellistä aistitietoa (yli aistien ja niiden yhdistelmien, tehtävätyyppien, tutkittavien iän). Tämä osoittaa, että lukivaikeus ei ole ongelma, joka rajoittuu vain kielellisen materiaalin käsittelyn vaikeuksiin (äänteiden käsittely, lukeminen, kirjoittaminen). Nyt havaitut vaikeudet eivät myöskään rajoittuneet vain niihin aisteihin, jotka selkeimmin liittyvät lukemiseen (näkö) ja puhuttuun kieleen (kuulo); Ongelmia esiintyi myös muissa aisteissa (tunto). Lukivaikeuksisten lukijoiden ryhmätasolla havaittu aikatarkkuuden ongelma ei kuitenkaan heijastunut yksilötasolle; Jokainen lukivaikeuksinen ei ollut huono aikatarkkuustehtävissä. Näin ollen ei siis voida väittää, että kaikkien lukivaikeuksisten äänteiden käsittelyn tai lukemaan oppimisen vaikeudet voisivat selittyä aistien toimintojen poikkeavuudella. Aikatarkkuuden ongelmat eivät olleet yhteydessä varsinaiseen lukemiseen. Sekä lukivaikeuksisilla lapsilla että aikuisilla todettiin kuitenkin selkeä yhteys aikatarkkuuden ongelmien ja lukemaan oppimisen keskeisen ennakkoehdon, fonologisen prosessoinnin, välillä. Saattaa siis olla, että synnynnäinen aistien toimintojen poikkeavuus vaikuttaa yksilön suoriutumiseen jo ennen varsinaista lukemaan oppimista, kun ne taidot kehittyvät (fonologinen prosessointi), joille myöhempi lukemaan oppiminen perustuu. Ikäännyttäessä havaittu lukivaikeuksisten suhteettoman nopea aikatarkkuuden heikkeneminen osoittaa, että lukivaikeus ei voi olla ongelma, joka koskee vain lapsuusikää, tai vaikeus, joka johtuu vain kehityksen viivästymästä joka kurottaisiin iän myötä umpeen. Tulosten ymmärtämiseksi onkin muistettava kaksi seikkaa. Lukivaikeus on ensinnäkin yhdistetty synnynnäisiin, pieniin, poikkeavuuksiin aivojen rakenteissa ja toiminnoissa. Toisaalta tavanomaiseen ikääntymiseen liittyy se, että aivot kykenevät yhä huonommin korjaamaan ja kiertämään (kompensoimaan) pieniä vaurioita. Tämän perusteella tutkimussarjan tuloksista voidaan päätellä, että lukivaikeuksisten jo synnynnäisesti heikentyneet aivojen kompensointimahdollisuudet eivät ole yhtä tehokkaita puskuroimaan ikääntymisen tavanomaisia vaikutuksia kuin sujuvilla lukijoilla. Yllättävää kuitenkin on, että tämä korostunut heikkeneminen havaittiin jo suhteellisen nuorilla, työikäisillä, lukivaikeuksisilla, ennen 60 ikävuotta. Samanlaista ikäännyttäessä korostuvaa vaikeutta ei lukivaikeuksilla kuitenkaan havaittu päättelyssä, kielellisissä toiminnoissa tai itse lukemisessa. Vaikuttaakin siis siltä, että ne toiminnot, joita on harjaannutettu aktiivisesti, eivät heikkene kasvavan aikuisiän myötä yhtä suhteettomasti. Alkuperäiset artikkelit Laasonen M, Tomma-Halme J, Lahti-Nuuttila P, Service E, and Virsu V (2000) Rate of information segregation in developmentally dyslexic children, Brain and Language, 75(1), 66-81. Laasonen M, Service E, and Virsu V (2001) Temporal order and processing acuity of visual, auditory, and tactile perception in developmentally dyslexic young adults, Cognitive, Affective, and Behavioral Neuroscience, 1(4), 394-410. Laasonen M, Service E, and Virsu V (2002) Crossmodal temporal order and processing acuity in developmentally dyslexic young adults, Brain and Language, 80(3), 340-354. Laasonen M, Lahti-Nuuttila P, and Virsu V (2002) Developmentally impaired processing speed decreases more than normally with age, NeuroReport, 13(9), 1111-1113.

Learning Temporal Contexts and Priming-Preparation Modes for Pattern Recognition

The system presented here is based on neurophysiological and electrophysiological data. It computes three types of increasingly integrated temporal and probability contexts, in a bottom-up mode. To each of these contexts corresponds an increasingly specific top-down priming effect on lower processing stages, mostly pattern recognition and discrimination. Contextual learning of time intervals, events' temporal order or sequential dependencies and events' prior probability results from the delivery of large stimuli sequences. This learning gives rise to emergent properties which closely match the experimental data.