Assessment of land use and land cover changes during the last 50 years in oases and surrounding rangelands of Xinjiang, NW China

An analysis of historical Corona images, Landsat images, recent radar and Google Earth® images was conducted to determine land use and land cover changes of oases settlements and surrounding rangelands at the fringe of the Altay Mountains from 1964 to 2008. For the Landsat datasets supervised classification methods were used to test the suitability of the Maximum Likelihood Classifier with subsequent smoothing and the Sequential Maximum A Posteriori Classifier (SMAPC). The results show a trend typical for the steppe and desert regions of northern China. From 1964 to 2008 farmland strongly increased (+ 61%), while the area of grassland and forest in the floodplains decreased (- 43%). The urban areas increased threefold and 400 ha of former agricultural land were abandoned. Farmland apparently affected by soil salinity decreased in size from 1990 (1180 ha) to 2008 (630 ha). The vegetated areas of the surrounding rangelands decreased, mainly as a result of overgrazing and drought events.The SMAPC with subsequent post processing revealed the highest classification accuracy. However, the specific landscape characteristics of mountain oasis systems required labour intensive post processing. Further research is needed to test the use of ancillary information for an automated classification of the examined landscape features.

Molekulare Systematik der Gattung Suaeda (Chenopodiaceae) und Evolution des C4-Photosynthesesyndroms

Mit der vorliegenden Arbeit wird eine Synthese aus molekularer Phylogenie und Merkmalsentwicklung für die Unterfamilie Suaedoideae der Chenopodiaceae präsentiert. Anhand von rekonstruierten Stammbäumen aus den Sequenzunterschieden von DNA-Abschnitten zweier unabhängiger Genome (Kern, Chloroplast) werden monophyletische Gruppen herausgearbeitet und die Variabilität der molekularen Merkmale in Bezug auf die bekannten Arten diskutiert. Insgesamt wurden für alle molekularen Analysen 294 Sequenzen ausgewertet. Mit 254 Sequenzen von Arten der Unterfamilie Suaedoideae und 18 Sequenzen von Arten der Unterfamilie Salicornioideae wurde eine vergleichende molekulare Analyse mit den DNA-Regionen ITS, atpB-rbcL und psbB-psbH durchgeführt. Mit der Einbeziehung von ca. 65 bekannten Suaeda-Arten sind damit je nach Artauffassung bis zu 80% aller Arten der Gattung berücksichtigt. Mittels Fossildaten werden die wichtigsten Divergenzereignisse zeitlich fixiert. Die molekularen Stammbäume dienen weiterhin als Grundlage für die Bewertung der Arten sowie ihrer morphologischen und anatomischen Merkmale. Ein wichtiger Aspekt bildet dabei die Entwicklung der C4-Photosynthese mit den zugehörigen Blatttypen. Die folgenden vier Themenkomplexe bzw. Fragestellungen sollten bearbeitet werden (für ausführliche Darstellung vgl. Kap. 1.3): 1. Monophyletische Gruppen und ihre Beziehungen 2. Prinzipien der Evolution und Artbildung in der untersuchten Gruppe, Abgrenzung der Arten. 3. Entwicklung des C4-Photosynthesesyndroms 4. Entwicklung und Variabilität systematisch relevanter Merkmale Die Ergebnisse der auf vergleichender DNA-Sequenzierung beruhenden molekularen Analyse und die Synthese mit weiteren Daten führen als Resultat der vorliegenden Arbeit zusammenfassend zu folgenden Ergebnissen: 1.) Die drei sequenzierten DNA-Regionen ITS, atpB-rbcL und psbB-psbH zeigen im Vergleich eine sehr unterschiedliche Variabilität, ITS ist die variabelste aller Regionen. Die in den Alignments gefundenen Merkmale in Form von Punkt- und Längenmutationen zwischen den Einzelsequenzen waren zahlenmäßig ausreichend und qualitativ geeignet, um mit den drei Verfahren Maximum Parsimony, Maximum Likelihood und Bayes’scher Analyse aussagekräftige und in wesentlichen Aussagen kongruente molekulare Phylogenien zu rekonstruieren. Die Chloroplasten-Daten wurden für die Berechnungen kombiniert. 2.) Die beiden DNA-Regionen ITS und atpB-rbcL evolvieren mit sehr unterschiedlichen Geschwindigkeiten. Die mit der Glättungsmethode PL berechneten durchschnittlichen Substitutionsraten weisen für ITS eine 5,5fach höhere Substitutionsrate gegenüber atpB-rbcL nach. Die ITS-Sequenzen sind daher wesentlich diverser und für einige Sippen, bei identischen atpB-rbcL-Sequenzen, unterschiedlich. Eine direkte Homologisierung von molekularer und morphologischer Variabilität oder die molekulare Limitierung von Arten ist daher nur in einigen Fällen möglich. 3.) Die Gattungen Suaeda, Alexandra und Borszczowia bilden eine monophyletische Gruppe, die den Salicornioideae als Schwestergruppe gegenübersteht. Dies bestätigt die Ergebnisse der Phylogenie der Chenopodiaceae (Kadereit et al. 2003). Im traditionellen Verständnis ist damit die Gattung Suaeda paraphyletisch. Durch taxonomische Umkombination (Schütze et al. 2003. Kapralov et al. 2006) werden die Gattungen Alexandra und Borszczowia in Suaeda eingegliedert, womit das Monophylie-Kriterium für die Gattung wieder erfüllt ist. Die molekularen Daten unterstützen diese nomenklatorische Neubewertung. Der nachfolgend verwendete Gattungsname Suaeda bezieht sich auf die neue Fassung. 4.) Bienertia gehört nicht in die unter 2.) beschriebene monophyletische Gruppe. Die Stellung dieser Gattung ist intermediär. Im ITS-Baum bildet sie die Schwestergruppe zu den Salicornioideae, im Chloroplasten-Baum diejenige zu Suaeda. Da Bienertia aufgrund morphologischer Merkmale Suaeda ähnlicher ist als den Salicornioideae wird sie in die intern neu gegliederte Unterfamilie der Suaedoideae einbezogen, die weitgehend der in Ulbrich (1934) vertretenen Auffassung entspricht. 5.) Suaeda teilt sich in zwei sehr deutlich getrennte Gruppen, die in einer neuen Gliederung als Untergattungen Brezia und Suaeda definiert werden. Die Trennung datiert mit etwa 30 Mio. Jahren in das Oligozän. Zur Untergattung Brezia gehören alle Arten der Sektion Brezia nach bisheriger taxonomischer Auffassung, die Untergattung Suaeda vereint alle übrigen Arten und wird in weitere Sektionen untergliedert. 6.) Die Untergattung bzw. Sektion Brezia zeigt im ITS-Baum eine deutliche Dreigliederung in 3 Subclades, die allerdings von den Chloroplasten-Bäumen nicht verifiziert wird und auch durch morphologische Merkmale nicht zu rechtfertigen ist. Die Subclades der Untergattung Suaeda entsprechen in Grundzügen den bisherigen Sektionen und sind durch synapomorphe Merkmale gekennzeichnet. Für die Gattung Suaeda leiten sich nach monophyletischen Gruppen oder singulären Linien folgende Sektionen ab: Brezia, Alexandra, Borszczowia, Schanginia, Schoberia Salsina (inkl. der früheren Sektionen Limbogermen, Immersa und Macrosuaeda), Suaeda, Physophora und Glauca (neu). 7.) Hybridisierung und Polyploidisierung sind wichtige Prozesse der sympatrischen Artbildung innerhalb der Suaedoideae und waren wahrscheinlich immer mit Arealerweiterungen gekoppelt. Mehrere Linien sind durch Vervielfachung des Chromosomensatzes charakterisiert, wobei auch die recht seltene Form der Dekaploidie erreicht wird. Vieles spricht dafür, dass sowohl Auto- als auch Allopolyploidie eine Rolle spielt. Auf Autopolyplodie beruhen höchstwahrscheinlich die unterschiedlichen Chromosomenrassen von S. corniculata. Durch Inkongruenzen zwischen Chloroplasten- und ITS (Kern)-Stammbäumen konnten einige Arten mit hoher Wahrscheinlichkeit als etablierte, allopolyploide Hybridsippen identifiziert werden (Suaeda kulundensis, S. sibirica). Es ist damit erwiesen, dass die Diversifizierung durch retikulate Evolution beeinflusst wird. 8.) Die Ergebnisse der molekularen Phylogenien belegen sehr deutlich, dass sich die C4-Photosynthese innerhalb der Suaedoideae viermal unabhängig mit vier vollkommen unterschiedlichen Blatttypen entwickelt hat. Dazu gehören zwei Blatttypen mit single cell C4-photosynthesis, ein bis vor kurzem bei Landpflanzen unbekanntes Phänomen. Innerhalb der Sektionen Schoberia, Salsina und Borszczowia datiert die Entstehung in das späte Miozän, bei Bienertia entstand die C4-Photosynthese möglicherweise noch früher. 9.) Als systematisch äußerst bedeutsame Merkmale haben sich die schon von Iljin (1936a) benutzten Pistill-Formen sowie spezifische Blattmerkmale herausgestellt. Mit diesen Merkmalen können Sektionen, die auf monophyletischen Gruppen beruhen, gut definiert werden. Synapomorphe Merkmale des Pistills sind die Zahl und Ausbildung der Narben sowie die Form ihrer Insertion im Ovar. Bei den Blatttypen sind es vor allem die vier histologisch hoch differenzierten C4-Blatttypen, die als gemeinsam abgeleitetes Merkmal rezenter, teilweise aufgespaltener Linien gewertet werden. 10.) Die früher z.T. überbewerteten Merkmale des Perianths (Verwachsungen, Flügel, Anhänge und Umbildungen) können nur zur Beschreibung einzelner Sippen oder lokaler Gruppen herangezogen werden. Ebenso ist das Merkmal der Lebensformen (Therophyten, Chamaephyten) kaum zur Charakterisierung von Gruppen geeignet. Wie das Beispiel Brezia sehr deutlich zeigt, kam es allein in dieser Gruppe mehrfach zur Entwicklung ausdauernder, verholzender Sippen. Der umgekehrte Prozess fand bei der Entstehung der annuellen S. aegyptiaca und S. arcuata statt. Mit Hilfe von DNA-basierten Stammbäumen ist es in der vorliegenden Arbeit möglich geworden, die evolutionäre Geschichte der Gattung nachzuzeichnen und eine auf monophyletischen Gruppen basierende Gliederung abzuleiten. Damit wird eine Grundlage für ein verbessertes Artkonzept der Gattung Suaeda geschaffen. Für die praktische Taxonomie ist dies aber nur teilweise bedeutend. Die morphologisch nachvollziehbare Abgrenzung von Arten bleibt, gerade in den diversen Sektionen Brezia und Salsina, umstritten und kaum nachvollziehbar. Ein Großteil der Arten hat offenbar keine interspezifischen Kompatibilitätsschranken, es handelt sich daher um Morpho- oder Semispecies, möglicherweise sogar nur geographische Rassen, die allerdings mit schnell evolvierenden DNA-Regionen wie ITS differenzierbar sind. Ausgehend von den Ergebnissen der vorliegenden Arbeit verbleibt genügend Raum für weiterführende, vertiefende systematische und populationsbiologische Studien.

Systematics and evolution of the genus Deuterocohnia Mez (Bromeliaceae)

The present study investigates the systematics and evolution of the Neotropical genus Deuterocohnia Mez (Bromeliaceae). It provides a comprehensive taxonomic revision as well as phylogenetic analyses based on chloroplast and nuclear DNA sequences and presents a hypothesis on the evolution of the genus. A broad morphological, anatomical, biogeographical and ecological overview of the genus is given in the first part of the study. For morphological character assessment more than 700 herbarium specimens from 39 herbaria as well as living plant material in the field and in the living collections of botanical gardens were carefully examined. The arid habitats, in which the species of Deuterocohnia grow, are reflected by the morphological and anatomical characters of the species. Important characters for species delimitation were identified, like the length of the inflorescence, the branching order, the density of flowers on partial inflorescences, the relation of the length of the primary bracts to that of the partial inflorescence, the sizes of floral bracts, sepals and petals, flower colour, the presence or absence of a pedicel, the curvature of the stamina and the petals during anthesis. After scrutinizing the nomenclatural history of the taxa belonging to Deuterocohnia – including the 1992 syonymized genus Abromeitiella – 17 species, 4 subspecies and 4 varieties are accepted in the present revision. Taxonomic changes were made in the following cases: (I) New combinations: A. abstrusa (A. Cast.) N. Schütz is re-established – as defined by Castellanos (1931) – and transfered to D. abstrusa; D. brevifolia (Griseb.) M.A. Spencer & L.B. Sm. includes accessions of the former D. lorentziana (Mez) M.A. Spencer & L.B. Sm., which are not assigned to D. abstrusa; D. bracteosa W. Till is synonymized to D. strobilifera Mez; D. meziana Kuntze ex Mez var. carmineo-viridiflora Rauh is classified as a subspecies of D. meziana (ssp. carmineo-viridiflora (Rauh) N. Schütz); D. pedicellata W. Till is classified as a subspecies of D. meziana (ssp. pedicellata (W. Till) N. Schütz); D. scapigera (Rauh & L. Hrom.) M.A. Spencer & L.B. Sm ssp. sanctae-crucis R. Vásquez & Ibisch is classified as a species (D. sanctae-crucis (R. Vásquez & Ibisch) N. Schütz); (II) New taxa: a new subspecies of D. meziana Kuntze ex Mez is established; a new variety of D. scapigera is established; (the new taxa will be validly published elsewhere); (III) New type: an epitype for D. longipetala was chosen. All other species were kept according to Spencer and Smith (1992) or – in the case of more recently described species – according to the protologue. Beside the nomenclatural notes and the detailed descriptions, information on distribution, habitat and ecology, etymology and taxonomic delimitation is provided for the genus and for each of its species. An key was constructed for the identification of currently accepted species, subspecies and varieties. The key is based on easily detectable morphological characters. The former synonymization of the genus Abromeitiella into Deuterocohnia (Spencer and Smith 1992) is re-evalutated in the present study. Morphological as well as molecular investigations revealed Deuterocohnia incl. Abromeitiella as being monophyletic, with some indications that a monophyletic Abromeitiella lineage arose from within Deuterocohnia. Thus the union of both genera is confirmed. The second part of the present thesis describes and discusses the molecular phylogenies and networks. Molecular analyses of three chloroplast intergenic spacers (rpl32-trnL, rps16-trnK, trnS-ycf3) were conducted with a sample set of 119 taxa. This set included 103 Deuterocohnia accessions from all 17 described species of the genus and 16 outgroup taxa from the remainder of Pitcairnioideae s.str. (Dyckia (8 sp.), Encholirium (2 sp.), Fosterella (4 sp.) and Pitcairnia (2 sp.)). With its high sampling density, the present investigation by far represents the most comprehensive molecular study of Deuterocohnia up till now. All data sets were analyzed separately as well as in combination, and various optimality criteria for phylogenetic tree construction were applied (Maximum Parsimony, Maximum Likelihood, Bayesian inferences and the distance method Neighbour Joining). Congruent topologies were generally obtained with different algorithms and optimality criteria, but individual clades received different degrees of statistical support in some analyses. The rps16-trnK locus was the most informative among the three spacer regions examined. The results of the chloroplast DNA analyses revealed a highly supported paraphyly of Deuterocohnia. Thus, the cpDNA trees divide the genus into two subclades (A and B), of which Deuterocohnia subclade B is sister to the included Dyckia and Encholirium accessions, and both together are sister to Deuterocohnia subclade A. To further examine the relationship between Deuterocohnia and Dyckia/Encholirium at the generic level, two nuclear low copy markers (PRK exon2-5 and PHYC exon1) were analysed with a reduced taxon set. This set included 22 Deuterocohnia accessions (including members of both cpDNA subclades), 2 Dyckia, 2 Encholirium and 2 Fosterella species. Phylogenetic trees were constructed as described above, and for comparison the same reduced taxon set was also analysed at the three cpDNA data loci. In contrast to the cpDNA results, the nuclear DNA data strongly supported the monophyly of Deuterocohnia, which takes a sister position to a clade of Dyckia and Encholirium samples. As morphology as well as nuclear DNA data generated in the present study and in a former AFLP analysis (Horres 2003) all corroborate the monophyly of Deuterocohnia, the apparent paraphyly displayed in cpDNA analyses is interpreted to be the consequence of a chloroplast capture event. This involves the introgression of the chloroplast genome from the common ancestor of the Dyckia/ Encholirium lineage into the ancestor of Deuterocohnia subclade B species. The chloroplast haplotypes are not species-specific in Deuterocohnia. Thus, one haplotype was sometimes shared by several species, where the same species may harbour different haplotypes. The arrangement of haplotypes followed geographical patterns rather than taxonomic boundaries, which may indicate some residual gene flow among populations from different Deuteroccohnia species. Phenotypic species coherence on the background of ongoing gene flow may then be maintained by sets of co-adapted alleles, as was suggested by the porous genome concept (Wu 2001, Palma-Silva et al. 2011). The results of the present study suggest the following scenario for the evolution of Deuterocohnia and its species. Deuterocohnia longipetala may be envisaged as a representative of the ancestral state within the genus. This is supported by (1) the wide distribution of this species; (2) the overlap in distribution area with species of Dyckia; (3) the laxly flowered inflorescences, which are also typical for Dyckia; (4) the yellow petals with a greenish tip, present in most other Deuterocohnia species. The following six extant lineages within Deuterocohnia might have independently been derived from this ancestral state with a few changes each: (I) D. meziana, D. brevispicata and D. seramisiana (Bolivia, lowland to montane areas, mostly reddish-greenish coloured, very laxly to very densely flowered); (II) D. strobilifera (Bolivia, high Andean mountains, yellow flowers, densely flowered); (III) D. glandulosa (Bolivia, montane areas, yellow-greenish flowers, densely flowered); (IV) D. haumanii, D. schreiteri, D. digitata, and D. chrysantha (Argentina, Chile, E Andean mountains and Atacama desert, yellow-greenish flowers, densely flowered); (V) D. recurvipetala (Argentina, foothills of the Andes, recurved yellow flowers, laxly flowered); (VI) D. gableana, D. scapigera, D. sanctae-crucis, D. abstrusa, D. brevifolia, D. lotteae (former Abromeitiella species, Bolivia, Argentina, higher Andean mountains, greenish-yellow flowers, inflorescence usually simple). Originating from the lower montane Andean regions, at least four lineages of the genus (I, II, IV, VI) adapted in part to higher altitudes by developing densely flowered partial inflorescences, shorter flowers and – in at least three lineages (II, IV, VI) – smaller rosettes, whereas species spreading into the lowlands (I, V) developed larger plants, laxly flowered, amply branched inflorescences and in part larger flowers (I).

Phylogeographie und Populationsgenetik der Arten der Gattung Fosterella (Bromeliaceae) in den südamerikanischen Anden

Die tropischen Anden sind eines der artenreichsten Gebiete der Erde. Fast die Hälfte der 45.000 in diesem Gebiet vorkommenden Gefäßpflanzenarten sind in den Anden endemisch (Myers et al. 2000). Die Gattung Fosterella (Bromeliaceae) ist eine den Anden zugeordnete Pflanzengruppe, denn die meisten ihrer 31 Arten kommen in den Anden vor. Achtzehn Arten sind kleinräumige Endemiten. Fosterella hat damit Modellcharakter für diese Region. In der vorliegenden Arbeit wurde die Evolution der Gattung in Raum und Zeit mithilfe der vergleichenden Sequenzierung von sechs plastidären Loci (atpB-rbcL, matK, psbB-psbH, rpl32-trnL, rps16-trnK, rps16-Intron) und einem nukleären Marker (PHYC) untersucht. Es wurden über 90 Akzessionen von 24 Fosterella-Arten untersucht. Mit 5,6 % informativer Merkmale innerhalb der Gattung war rpl32-trnL der informativste Chloroplastenmarker. Es wurden mit den kombinierten Sequenzdaten eine Maximum Parsimony-, eine Maximum Likelihood- und eine Bayes´sche Analyse berechnet. Weiterhin wurden biogeographische und ultrametrische Untersuchungen durchgeführt. Die 6-Locus-Phylogenie zeigt eine Aufteilung der monophyletischen Gattung Fosterella in sechs Gruppen, von denen vier – die penduliflora-, weddelliana-, weberbaueri- und micrantha-Gruppe - klar monophyletisch und gut gestützt sind. Die albicans- und die rusbyi-Gruppe bilden hingegen einen Komplex. Ultrametrische Analysen legen ein Alter der Gattung von ca. 9,6 Mio. Jahren nahe. Der geographische Ursprung von Fosterella befindet sich nach den vorliegenden biogeographischen Analysen in den Anden und nach der Biom-Analyse zu gleicher Wahrscheinlichkeit entweder in andinen Trockenwäldern (seasonally dry tropical forests, SDTFs) oder in azonalen Standorten des amazonischen Tieflands östlich der Anden. Es gab mehrere Ausbreitungsereignisse, von denen die beiden Fernausbreitungsereignisse nach Mittelamerika (F. micrantha) und in das zentrale Amazonasgebiet (F. batistana) die auffälligsten sind. Die feuchten Bergregenwälder (Yungas) der Anden wurden offenbar mehrfach unabhängig von Fosterella-Arten besiedelt. Insgesamt wurden elf nukleäre Marker (XDH, GS, RPB2, MS, ADH, MS, GLO/PI, CHS, FLO/LFY, NIAi3 und PHYC) auf ihre Anwendbarkeit für molekularsystematische Studien in Fosterella getestet. Davon konnten acht Marker erfolgreich mithilfe einer PCR amplifiziert werden. Die Fragmentgrößen lagen zwischen 350 bp und 1.500 bp. Nur für drei Loci (FLO/LFY, NIAi3 und PHYC) konnten lesbare DNA-Sequenzen in Fosterella erzeugt werden. FLO/LFY zeigte nur 1,5 % Variabilität innerhalb der Gattung. Der NIA-Locus erzeugte bei der Amplifikation mehrere Fragmente, die separat voneinander sequenziert wurden. Der Locus PHYC konnte hingegen aufgrund der guten Amplifizier- und Sequenzierbarkeit für das gesamte Probenset sequenziert werden. Dieser Marker zeigte eine Variabilität innerhalb der Gattung von 10,2 %, davon waren 6,8 % informativ. In der Phylogenie basierend auf PHYC ist Fosterella klar monophyletisch, innerhalb der Gattung zeigt sich jedoch an der Basis eine unaufgelöste Polytomie. Es lassen sich neun mehr oder weniger gut gestützte Artengruppen definieren – rusbyi-, villosula-, albicans-, weddelliana-, penduliflora-, weberbaueri-, micrantha-, robertreadii- und spectabilis-Gruppe - die sich in ihrer Zusammensetzung mit Ausnahme der weddelliana-Gruppe von den nach Chloroplastendaten definierten Gruppen unterscheiden. Viele Arten sind para- oder polyphyletisch, so z. B. F. albicans, F. penduliflora und F. rusbyi. Bei den beiden erstgenannten Arten weisen die unterschiedlichen Stellungen in Chloroplasten- und Kernphylogenie auf Hybridisierungsereignisse hin.

Learning Linear, Sparse, Factorial Codes

In previous work (Olshausen & Field 1996), an algorithm was described for learning linear sparse codes which, when trained on natural images, produces a set of basis functions that are spatially localized, oriented, and bandpass (i.e., wavelet-like). This note shows how the algorithm may be interpreted within a maximum-likelihood framework. Several useful insights emerge from this connection: it makes explicit the relation to statistical independence (i.e., factorial coding), it shows a formal relationship to the algorithm of Bell and Sejnowski (1995), and it suggests how to adapt parameters that were previously fixed.

Factorial Hidden Markov Models

We present a framework for learning in hidden Markov models with distributed state representations. Within this framework, we derive a learning algorithm based on the Expectation--Maximization (EM) procedure for maximum likelihood estimation. Analogous to the standard Baum-Welch update rules, the M-step of our algorithm is exact and can be solved analytically. However, due to the combinatorial nature of the hidden state representation, the exact E-step is intractable. A simple and tractable mean field approximation is derived. Empirical results on a set of problems suggest that both the mean field approximation and Gibbs sampling are viable alternatives to the computationally expensive exact algorithm.

On Convergence Properties of the EM Algorithm for Gaussian Mixtures

"Expectation-Maximization'' (EM) algorithm and gradient-based approaches for maximum likelihood learning of finite Gaussian mixtures. We show that the EM step in parameter space is obtained from the gradient via a projection matrix $P$, and we provide an explicit expression for the matrix. We then analyze the convergence of EM in terms of special properties of $P$ and provide new results analyzing the effect that $P$ has on the likelihood surface. Based on these mathematical results, we present a comparative discussion of the advantages and disadvantages of EM and other algorithms for the learning of Gaussian mixture models.

Learning from Incomplete Data

Real-world learning tasks often involve high-dimensional data sets with complex patterns of missing features. In this paper we review the problem of learning from incomplete data from two statistical perspectives---the likelihood-based and the Bayesian. The goal is two-fold: to place current neural network approaches to missing data within a statistical framework, and to describe a set of algorithms, derived from the likelihood-based framework, that handle clustering, classification, and function approximation from incomplete data in a principled and efficient manner. These algorithms are based on mixture modeling and make two distinct appeals to the Expectation-Maximization (EM) principle (Dempster, Laird, and Rubin 1977)---both for the estimation of mixture components and for coping with the missing data.

Hierarchical Mixtures of Experts and the EM Algorithm

We present a tree-structured architecture for supervised learning. The statistical model underlying the architecture is a hierarchical mixture model in which both the mixture coefficients and the mixture components are generalized linear models (GLIM's). Learning is treated as a maximum likelihood problem; in particular, we present an Expectation-Maximization (EM) algorithm for adjusting the parameters of the architecture. We also develop an on-line learning algorithm in which the parameters are updated incrementally. Comparative simulation results are presented in the robot dynamics domain.

Statistical Models for Co-occurrence Data

Modeling and predicting co-occurrences of events is a fundamental problem of unsupervised learning. In this contribution we develop a statistical framework for analyzing co-occurrence data in a general setting where elementary observations are joint occurrences of pairs of abstract objects from two finite sets. The main challenge for statistical models in this context is to overcome the inherent data sparseness and to estimate the probabilities for pairs which were rarely observed or even unobserved in a given sample set. Moreover, it is often of considerable interest to extract grouping structure or to find a hierarchical data organization. A novel family of mixture models is proposed which explain the observed data by a finite number of shared aspects or clusters. This provides a common framework for statistical inference and structure discovery and also includes several recently proposed models as special cases. Adopting the maximum likelihood principle, EM algorithms are derived to fit the model parameters. We develop improved versions of EM which largely avoid overfitting problems and overcome the inherent locality of EM--based optimization. Among the broad variety of possible applications, e.g., in information retrieval, natural language processing, data mining, and computer vision, we have chosen document retrieval, the statistical analysis of noun/adjective co-occurrence and the unsupervised segmentation of textured images to test and evaluate the proposed algorithms.

On the Noise Model of Support Vector Machine Regression

Support Vector Machines Regression (SVMR) is a regression technique which has been recently introduced by V. Vapnik and his collaborators (Vapnik, 1995; Vapnik, Golowich and Smola, 1996). In SVMR the goodness of fit is measured not by the usual quadratic loss function (the mean square error), but by a different loss function called Vapnik"s $epsilon$- insensitive loss function, which is similar to the "robust" loss functions introduced by Huber (Huber, 1981). The quadratic loss function is well justified under the assumption of Gaussian additive noise. However, the noise model underlying the choice of Vapnik's loss function is less clear. In this paper the use of Vapnik's loss function is shown to be equivalent to a model of additive and Gaussian noise, where the variance and mean of the Gaussian are random variables. The probability distributions for the variance and mean will be stated explicitly. While this work is presented in the framework of SVMR, it can be extended to justify non-quadratic loss functions in any Maximum Likelihood or Maximum A Posteriori approach. It applies not only to Vapnik's loss function, but to a much broader class of loss functions.

Risk Bounds for Mixture Density Estimation

In this paper we focus on the problem of estimating a bounded density using a finite combination of densities from a given class. We consider the Maximum Likelihood Procedure (MLE) and the greedy procedure described by Li and Barron. Approximation and estimation bounds are given for the above methods. We extend and improve upon the estimation results of Li and Barron, and in particular prove an $O(\\frac{1}{\\sqrt{n}})$ bound on the estimation error which does not depend on the number of densities in the estimated combination.

Multilevel multitrait-multimethod model: application to the measurement of egocentered social networks

Our goal in this paper is to assess reliability and validity of egocentered network data using multilevel analysis (Muthen, 1989, Hox, 1993) under the multitrait-multimethod approach. The confirmatory factor analysis model for multitrait-multimethod data (Werts & Linn, 1970; Andrews, 1984) is used for our analyses. In this study we reanalyse a part of data of another study (Kogovšek et al., 2002) done on a representative sample of the inhabitants of Ljubljana. The traits used in our article are the name interpreters. We consider egocentered network data as hierarchical; therefore a multilevel analysis is required. We use Muthen's partial maximum likelihood approach, called pseudobalanced solution (Muthen, 1989, 1990, 1994) which produces estimations close to maximum likelihood for large ego sample sizes (Hox & Mass, 2001). Several analyses will be done in order to compare this multilevel analysis to classic methods of analysis such as the ones made in Kogovšek et al. (2002), who analysed the data only at group (ego) level considering averages of all alters within the ego. We show that some of the results obtained by classic methods are biased and that multilevel analysis provides more detailed information that much enriches the interpretation of reliability and validity of hierarchical data. Within and between-ego reliabilities and validities and other related quality measures are defined, computed and interpreted

De lo micro a lo macro prudencial: Un análisis de la supervisión bancaria desde la econometría espacial

La crisis que se desató en el mercado hipotecario en Estados Unidos en 2008 y que logró propagarse a lo largo de todo sistema financiero, dejó en evidencia el nivel de interconexión que actualmente existe entre las entidades del sector y sus relaciones con el sector productivo, dejando en evidencia la necesidad de identificar y caracterizar el riesgo sistémico inherente al sistema, para que de esta forma las entidades reguladoras busquen una estabilidad tanto individual, como del sistema en general. El presente documento muestra, a través de un modelo que combina el poder informativo de las redes y su adecuación a un modelo espacial auto regresivo (tipo panel), la importancia de incorporar al enfoque micro-prudencial (propuesto en Basilea II), una variable que capture el efecto de estar conectado con otras entidades, realizando así un análisis macro-prudencial (propuesto en Basilea III).

Demanda por seguro de salud y uso de servicios médicos bajo un esquema de seguro obligatorio. Diferencias entre trabajadores dependientes ytrabajadores independientes

Este trabajo estudia el efecto del estado de salud sobre la afiliación al Régimen Contributivo y el efecto del seguro público (Régimen Contributivo) y el seguro privado sobre el uso de servicios de salud (Consulta externa).