Learning dynamic prices in multiseller electronic retail markets with price sensitive customers, stochastic demands, and inventory replenishments

In this paper, we use reinforcement learning (RL) as a tool to study price dynamics in an electronic retail market consisting of two competing sellers, and price sensitive and lead time sensitive customers. Sellers, offering identical products, compete on price to satisfy stochastically arriving demands (customers), and follow standard inventory control and replenishment policies to manage their inventories. In such a generalized setting, RL techniques have not previously been applied. We consider two representative cases: 1) no information case, were none of the sellers has any information about customer queue levels, inventory levels, or prices at the competitors; and 2) partial information case, where every seller has information about the customer queue levels and inventory levels of the competitors. Sellers employ automated pricing agents, or pricebots, which use RL-based pricing algorithms to reset the prices at random intervals based on factors such as number of back orders, inventory levels, and replenishment lead times, with the objective of maximizing discounted cumulative profit. In the no information case, we show that a seller who uses Q-learning outperforms a seller who uses derivative following (DF). In the partial information case, we model the problem as a Markovian game and use actor-critic based RL to learn dynamic prices. We believe our approach to solving these problems is a new and promising way of setting dynamic prices in multiseller environments with stochastic demands, price sensitive customers, and inventory replenishments.

A modell of socially optimal hydro reservoir usage - yelding socially optimal outcomes in nordic electricity markets

An extensive electricity transmission network facilitates electricity trading between Finland, Sweden, Norway and Denmark. Currently most of the area's power generation is traded at NordPool, where the trading volumes have steadily increased since the early 1990's, when the exchange was founded. The Nordic electricity is expected to follow the current trend and further integrate with the other European electricity markets. Hydro power is the source for roughly a half of the supply in the Nordic electricity market and most of the hydro is generated in Norway. The dominating role of hydro power distinguishes the Nordic electricity market from most of the other market places. Production of hydro power varies mainly due to hydro reservoirs and demand for electricity. Hydro reservoirs are affected by water inflows that differ each year. The hydro reservoirs explain remarkably the behaviour of the Nordic electricity markets. Therefore among others, Kauppi and Liski (2008) have developed a model that analyzes the behaviour of the markets using hydro reservoirs as explanatory factors. Their model includes, for example, welfare loss due to socially suboptimal hydro reservoir usage, socially optimal electricity price, hydro reservoir storage and thermal reservoir storage; that are referred as outcomes. However, the model does not explain the real market condition but rather an ideal situation. In the model the market is controlled by one agent, i.e. one agent controls all the power generation reserves; it is referred to as a socially optimal strategy. Article by Kauppi and Liski (2008) includes an assumption where an individual agent has a certain fraction of market power, e.g. 20 % or 30 %. In order to maintain the focus of this thesis, this part of their paper is omitted. The goal of this thesis is two-fold. Firstly we expand the results from the socially optimal strategy for years 2006-08, as the earlier study finishes in 2005. The second objective is to improve on the methods from the previous study. This thesis results several outcomes (SPOT-price and welfare loss, etc.) due to socially optimal actions. Welfare loss is interesting as it describes the inefficiency of the market. SPOT-price is an important output for the market participants as it often has an effect on end users' electricity bills. Another function is to modify and try to improve the model by means of using more accurate input data, e.g. by considering pollution trade rights effect on input data. After modifications to the model, new welfare losses are calculated and compared with the same results before the modifications. The hydro reservoir has the higher explanatory significance in the model followed by thermal power. In Nordic markets, thermal power reserves are mostly nuclear power and other thermal sources (coal, natural gas, oil, peat). It can be argued that hydro and thermal reservoirs determine electricity supply. Roughly speaking, the model takes into account electricity demand and supply, and several parameters related to them (water inflow, oil price, etc.), yielding finally the socially optimal outcomes. The author of this thesis is not aware of any similar model being tested before. There have been some other studies that are close to the Kauppi and Liski (2008) model, but those have a somewhat different focus. For example, a specific feature in the model is the focus on long-run capacity usage that differs from the previous studies on short-run market power. The closest study to the model is from California's wholesale electricity markets that, however, uses different methodology. Work is constructed as follows.

Suolistopatogeenisten Escherichia coli -bakteerien esiintyvyys ripulipotilailla ja raa’oissa lihatuotteissa Burkina Fasossa sekä enterohemorraagisten E. coli -kantojen karakterisointi

Suolistopatogeeniset Escherichia coli -bakteerit eli ripulikolit aiheuttavat ihmisellä suolistoinfektioita. Kuten normaalimikrobiston E. coli -bakteerit, ne esiintyvät ihmisen lisäksi muiden nisäkkäiden, etenkin märehtijöiden, ja lintujen suolistossa. Lisäksi ne voivat esiintyä maaperässä ja vesistöissä. Ihminen voi saada tartunnan eläinperäisten elintarvikkeiden välityksellä tai juomalla eläinten tai ihmisen ulosteilla saastunutta vettä. Ripulikolit voidaan jakaa ainakin viiteen ryhmään perustuen niiden erilaisiin virulenssiominaisuuksiin: enteropatogeeninen E. coli (EPEC), enterotoksigeeninen E. coli (ETEC), enterohemorraaginen E. coli (EHEC), enteroinvasiivinen E. coli (EIEC) ja enteroaggregatiivinen E. coli (EAEC). EPEC aiheuttaa etenkin kehitysmaissa pikkulapsille ripulia. ETEC aiheuttaa turistiripulia ja vastasyntyneiden ripulia kehitysmaissa. EHEC aiheuttaa ripulia tai veriripulia, joka voi varsinkin pienillä lapsilla johtaa hemolyyttis-ureemiseen oireyhtymään (HUS) ja munuaisten vaurioitumiseen. EIEC aiheuttaa Shigellan kaltaista ripulia, joka voi olla veristä. EAEC on yhdistetty lähinnä pitkittyneisiin ripuleihin. Tutkimuksessa selvitettiin suolistopatogeenisten E. coli -bakteerien esiintyvyyttä Burkina Fasossa, josta ei ole saatavilla aikaisempaa tietoa ripulikolien esiintymisestä ihmisissä ja elintarvikkeissa. Ulostenäytteitä otettiin ripulia sairastavilta alle viisivuotiailta lapsilta maaseudulta kahdesta kylästä, Boromosta ja Gourcysta, ja maan pääkaupungista Ouagadougousta (110 näytettä). Lihanäytteitä (kanaa, nautaa, lammasta ja naudan suolta, jota käytetään ihmisravinnoksi) otettiin Ouagadougoun toreilla myytävistä kypsentämättömistä lihoista (120 näytettä). Näytteistä saadut bakteerisekaviljelmät tutkittiin monialukkeisella PCR-menetelmällä, joka tunnistaa viiden ripulikoliryhmän virulenssigeenejä. Lisäksi lihanäytteistä eristettiin 20 EHEC-kantaa shigatoksiinin stx-geenin havaitsemiseen perustuvalla pesäkehybridisaatiolla ja PCR-seulonnalla, ja karakterisoitiin mahdollisten virulenssiominaisuuksien selvittämiseksi. Tutkimus osoitti, että ripulikolien aiheuttamat suolistoinfektiot ovat yleisiä ripulia sairastavilla pikkulapsilla Burkina Fasossa. Ulostenäytteistä 59 % oli positiivisia. Useimmiten lapsilla esiintyi EAEC- (32 %) ETEC- (31 %) ja EPEC-patoryhmiä (20 %). EIEC- (2 %) ja EHEC-patoryhmiä (1 %) esiintyi vähän. Myös useamman patoryhmän sekainfektiot olivat yleisiä (24 %). Eri paikkakuntien välillä oli tilastollisesti merkitseviä eroja ripulikolien esiintymisessä. Gourcyssa ripulikoleja esiintyi useammin kuin Ouagadougoussa ja Boromossa. Tutkimuksessa kävi ilmi, että Ouagadougoun toreilla myytävissä lihoissa on paljon ripulikoleja. Lihanäytteistä 43 % oli positiivisia. Yleisimmin lihoissa esiintyi EHEC (28 %), EPEC (20 %), ETEC (8 %) ja EAEC (5 %). EIEC-ryhmää ei havaittu lihoissa. Myös useamman patoryhmän sekakontaminaatioita löytyi (17 %) lihoista. Ripulikolien esiintyvyydessä eri lihojen välillä ei ollut tilastollisesti merkitseviä eroja, kun tarkasteltiin kaikkia patoryhmiä yhdessä. Eri patoryhmien esiintyvyyttä tarkasteltaessa EHEC-patoryhmää ei esiintynyt ollenkaan kanassa ja ero oli tilastollisesti merkitsevä muihin lihoihin verrattuna. Lihoista eristetyt 20 EHEC-kantaa kuuluivat 14 eri serotyyppiin, joista osa on aikaisemmin eristetty suolistoinfektioihin ja HUSoireyhtymään sairastuneilta ihmisiltä. Kaikki kannat olivat stx1-positiivisia ja puolella oli lisäksi stx2-geeni, jota pidetään shigatoksiinin virulentimpana muotona. Kahdelta EHEC-kannalta löytyi myös ETECpatoryhmän lämpöstabiilin enterotoksiini Ia:n geeni eli kannat olivat kahden patoryhmän välimuotoa ja osoitus geenien siirtymisestä eri patoryhmien välillä. Vaikka nuorimmat näytteen antaneet lapsipotilaat tuskin söivät lihaa, sen voidaan ajatella silti olevan edustava näyte lasten elinympäristöstä, sillä lasten ruoka valmistetaan usein samoissa oloissa, joissa raakaa lihaa käsitellään. Saastunut liha voi siten olla pikkulasten ripulikoli-infektioiden aiheuttaja.

Reinforcement learning applications in dynamic pricing of retail markets

In this paper, we investigate the use of reinforcement learning (RL) techniques to the problem of determining dynamic prices in an electronic retail market. As representative models, we consider a single seller market and a two seller market, and formulate the dynamic pricing problem in a setting that easily generalizes to markets with more than two sellers. We first formulate the single seller dynamic pricing problem in the RL framework and solve the problem using the Q-learning algorithm through simulation. Next we model the two seller dynamic pricing problem as a Markovian game and formulate the problem in the RL framework. We solve this problem using actor-critic algorithms through simulation. We believe our approach to solving these problems is a promising way of setting dynamic prices in multi-agent environments. We illustrate the methodology with two illustrative examples of typical retail markets.

Electrochemical capacitors: Technical challenges and prognosis for future markets

Electrochemical capacitors are potential devices that could help bringing about major advances in future energy storage. They are lightweight and their manufacture and disposal has no detrimental effects on the environment. A comprehensive description of fundamental science of electrochemical capacitors is presented. Similarities and differences between electrochemical capacitors and secondary batteries for electrical energy storage are highlighted and various types of electrochemical capacitors are discussed with special reference to lead-carbon hybrid ultracapacitors. Some envisaged applications of electrochemical capacitors are described along with the technical challenges and prognosis for future markets. (C) 2012 Published by Elsevier Ltd.