Virtual technology and haptic interface solutions for design and control of mobile working machines

Commercially available haptic interfaces are usable for many purposes. However, as generic devices they are not the most suitable for the control of heavy duty mobile working machines like mining machines, container handling equipment and excavators. Alternative mechanical constructions for a haptic controller are presented and analysed. A virtual reality environment (VRE) was built to test the proposed haptic controller mechanisms. Verification of an electric motor emulating a hydraulic pump in the electro-hydraulic system of a mobile working machine is carried out. A real-time simulator using multi-body-dynamics based software with hardware-in-loop (HIL) setup was used for the tests. Recommendations for further development of a haptic controller and emulator electric motor are given.

Virtuaalitodellisuuslaboratorion laiteympäristön kehittäminen - ohjaimet ja ohjelmistot

Tämä diplomityö on tehty osana HumanICT-projektia, jonka tavoitteena on kehittää uusi, virtuaalitekniikoita hyödyntävä, työkoneiden käyttäjäliityntöjen suunnittelumenetelmä. Työn tarkoituksena oli kehittää VTT:n Tuotteet ja tuotanto tutkimusyksikköön kuluvan Ihminen-kone-turvallisuus ryhmän nykyistä virtuaalitodellisuuslaboratoriota siten, että sitä voidaan käyttää työkoneiden suunnittelussa sekä monipuolisissa ergonomiatarkasteluissa. Itse ympäristön kehittäminen pitää sisällään uuden ohjainjärjestelmän suunnittelun sekä sen implementoinnin nykyisin käytössä olevaan virtuaaliympäristöön. Perinteisesti ohjaamosimulaattorit ovat olleet sovelluskohteisiin räätälöityjä, joten ne ovat kalliita ja niiden konfiguroinnin muuttaminen on vaikeaa, joskus jopa mahdotonta. Tämän työntarkoituksena oli kehittää PC-tietokoneeseen ja yleiseen käyttöjärjestelmään perustuva ohjainjärjestelmä, joka on nopeasti kytkettävissä erilaisiin virtuaaliympäristön sovelluksiin, kuten ohjaamomalleihin. Työssä tarkasteltiin myös tapoja mallintaa fysikaalisia ilmiöitä reaaliaikasovelluksissa, eli on-line simuloinnissa. Tämän tarkastelun perusteella etsittiin ja valittiin jatkokäsittelyyn ohjelmistoja, joiden reaaliaikaisen dynamiikan simulointialgoritmitolivat kaikkein kehittyneimpiä ja monipuolisia.

A System-Level Simulation Model for a Protocol Processor

As the development of integrated circuit technology continues to follow Moore’s law the complexity of circuits increases exponentially. Traditional hardware description languages such as VHDL and Verilog are no longer powerful enough to cope with this level of complexity and do not provide facilities for hardware/software codesign. Languages such as SystemC are intended to solve these problems by combining the powerful expression of high level programming languages and hardware oriented facilities of hardware description languages. To fully replace older languages in the desing flow of digital systems SystemC should also be synthesizable. The devices required by modern high speed networks often share the same tight constraints for e.g. size, power consumption and price with embedded systems but have also very demanding real time and quality of service requirements that are difficult to satisfy with general purpose processors. Dedicated hardware blocks of an application specific instruction set processor are one way to combine fast processing speed, energy efficiency, flexibility and relatively low time-to-market. Common features can be identified in the network processing domain making it possible to develop specialized but configurable processor architectures. One such architecture is the TACO which is based on transport triggered architecture. The architecture offers a high degree of parallelism and modularity and greatly simplified instruction decoding. For this M.Sc.(Tech) thesis, a simulation environment for the TACO architecture was developed with SystemC 2.2 using an old version written with SystemC 1.0 as a starting point. The environment enables rapid design space exploration by providing facilities for hw/sw codesign and simulation and an extendable library of automatically configured reusable hardware blocks. Other topics that are covered are the differences between SystemC 1.0 and 2.2 from the viewpoint of hardware modeling, and compilation of a SystemC model into synthesizable VHDL with Celoxica Agility SystemC Compiler. A simulation model for a processor for TCP/IP packet validation was designed and tested as a test case for the environment.

Thinking Outside the Box: Enhancing Science Teaching by Combining (Instead of Contrasting) Laboratory and Simulation Activities

The focus of the present work was on 10- to 12-year-old elementary school students’ conceptual learning outcomes in science in two specific inquiry-learning environments, laboratory and simulation. The main aim was to examine if it would be more beneficial to combine than contrast simulation and laboratory activities in science teaching. It was argued that the status quo where laboratories and simulations are seen as alternative or competing methods in science teaching is hardly an optimal solution to promote students’ learning and understanding in various science domains. It was hypothesized that it would make more sense and be more productive to combine laboratories and simulations. Several explanations and examples were provided to back up the hypothesis. In order to test whether learning with the combination of laboratory and simulation activities can result in better conceptual understanding in science than learning with laboratory or simulation activities alone, two experiments were conducted in the domain of electricity. In these experiments students constructed and studied electrical circuits in three different learning environments: laboratory (real circuits), simulation (virtual circuits), and simulation-laboratory combination (real and virtual circuits were used simultaneously). In order to measure and compare how these environments affected students’ conceptual understanding of circuits, a subject knowledge assessment questionnaire was administered before and after the experimentation. The results of the experiments were presented in four empirical studies. Three of the studies focused on learning outcomes between the conditions and one on learning processes. Study I analyzed learning outcomes from experiment I. The aim of the study was to investigate if it would be more beneficial to combine simulation and laboratory activities than to use them separately in teaching the concepts of simple electricity. Matched-trios were created based on the pre-test results of 66 elementary school students and divided randomly into a laboratory (real circuits), simulation (virtual circuits) and simulation-laboratory combination (real and virtual circuits simultaneously) conditions. In each condition students had 90 minutes to construct and study various circuits. The results showed that studying electrical circuits in the simulation–laboratory combination environment improved students’ conceptual understanding more than studying circuits in simulation and laboratory environments alone. Although there were no statistical differences between simulation and laboratory environments, the learning effect was more pronounced in the simulation condition where the students made clear progress during the intervention, whereas in the laboratory condition students’ conceptual understanding remained at an elementary level after the intervention. Study II analyzed learning outcomes from experiment II. The aim of the study was to investigate if and how learning outcomes in simulation and simulation-laboratory combination environments are mediated by implicit (only procedural guidance) and explicit (more structure and guidance for the discovery process) instruction in the context of simple DC circuits. Matched-quartets were created based on the pre-test results of 50 elementary school students and divided randomly into a simulation implicit (SI), simulation explicit (SE), combination implicit (CI) and combination explicit (CE) conditions. The results showed that when the students were working with the simulation alone, they were able to gain significantly greater amount of subject knowledge when they received metacognitive support (explicit instruction; SE) for the discovery process than when they received only procedural guidance (implicit instruction: SI). However, this additional scaffolding was not enough to reach the level of the students in the combination environment (CI and CE). A surprising finding in Study II was that instructional support had a different effect in the combination environment than in the simulation environment. In the combination environment explicit instruction (CE) did not seem to elicit much additional gain for students’ understanding of electric circuits compared to implicit instruction (CI). Instead, explicit instruction slowed down the inquiry process substantially in the combination environment. Study III analyzed from video data learning processes of those 50 students that participated in experiment II (cf. Study II above). The focus was on three specific learning processes: cognitive conflicts, self-explanations, and analogical encodings. The aim of the study was to find out possible explanations for the success of the combination condition in Experiments I and II. The video data provided clear evidence about the benefits of studying with the real and virtual circuits simultaneously (the combination conditions). Mostly the representations complemented each other, that is, one representation helped students to interpret and understand the outcomes they received from the other representation. However, there were also instances in which analogical encoding took place, that is, situations in which the slightly discrepant results between the representations ‘forced’ students to focus on those features that could be generalised across the two representations. No statistical differences were found in the amount of experienced cognitive conflicts and self-explanations between simulation and combination conditions, though in self-explanations there was a nascent trend in favour of the combination. There was also a clear tendency suggesting that explicit guidance increased the amount of self-explanations. Overall, the amount of cognitive conflicts and self-explanations was very low. The aim of the Study IV was twofold: the main aim was to provide an aggregated overview of the learning outcomes of experiments I and II; the secondary aim was to explore the relationship between the learning environments and students’ prior domain knowledge (low and high) in the experiments. Aggregated results of experiments I & II showed that on average, 91% of the students in the combination environment scored above the average of the laboratory environment, and 76% of them scored also above the average of the simulation environment. Seventy percent of the students in the simulation environment scored above the average of the laboratory environment. The results further showed that overall students seemed to benefit from combining simulations and laboratories regardless of their level of prior knowledge, that is, students with either low or high prior knowledge who studied circuits in the combination environment outperformed their counterparts who studied in the laboratory or simulation environment alone. The effect seemed to be slightly bigger among the students with low prior knowledge. However, more detailed inspection of the results showed that there were considerable differences between the experiments regarding how students with low and high prior knowledge benefitted from the combination: in Experiment I, especially students with low prior knowledge benefitted from the combination as compared to those students that used only the simulation, whereas in Experiment II, only students with high prior knowledge seemed to benefit from the combination relative to the simulation group. Regarding the differences between simulation and laboratory groups, the benefits of using a simulation seemed to be slightly higher among students with high prior knowledge. The results of the four empirical studies support the hypothesis concerning the benefits of using simulation along with laboratory activities to promote students’ conceptual understanding of electricity. It can be concluded that when teaching students about electricity, the students can gain better understanding when they have an opportunity to use the simulation and the real circuits in parallel than if they have only the real circuits or only a computer simulation available, even when the use of the simulation is supported with the explicit instruction. The outcomes of the empirical studies can be considered as the first unambiguous evidence on the (additional) benefits of combining laboratory and simulation activities in science education as compared to learning with laboratories and simulations alone.

Design of Streaming Media Panoramic Video System Based on WebGL

2016 is the outbreak year of the virtual reality industry. In the field of virtual reality, 3D surveying plays an important role. Nowadays, 3D surveying technology has received increasing attention. This project aims to establish and optimize a WebGL three-dimensional broadcast platform combined with streaming media technology. It takes streaming media server and panoramic video broadcast in browser as the application background. Simultaneously, it discusses about the architecture from streaming media server to panoramic media player and analyzing relevant theory problem. This paper focuses on the debugging of streaming media platform, the structure of WebGL player environment, different types of ball model analysis, and the 3D mapping technology. The main work contains the following points: Initially, relay on Easy Darwin open source streaming media server, built a streaming service platform. It can realize the transmission from RTSP stream to streaming media server, and forwards HLS slice video to clients; Then, wrote a WebGL panoramic video player based on Three.js lib with JQuery browser playback controls. Set up a HTML5 panoramic video player; Next, analyzed the latitude and longitude sphere model which from Three.js library according to WebGL rendering method. Pointed out the drawbacks of this model and the breakthrough point of improvement; After that, on the basis of Schneider transform principle, established the Schneider sphere projection model, and converted the output OBJ file to JS file for media player reading. Finally implemented real time panoramic video high precision playing without plugin; At last, I summarized the whole project. Put forward the direction of future optimization and extensible market.

Visualisointiympariston suunnittelu

Diplomityossa kartoitetaan Visualisointiympäristön rakentamiseen ja toteuttamiseen soveltuvia tekniikoita. Kartoituksen perusteella laadittiin lista tarvittavista komponenteista Visualisointiympäristön toteuttamiseksi Lappeenrannan teknillisen yliopiston konetekniikan osastolle mekatroniikan ja virtuaalisuunnittelun laboratoriolle. Työssä tarkastellaan keinotodellisuuden ulottuvuuksia ja esitellään sen hyödyntämismahdollisuuksia eri aloilla nyt ja tulevaisuudessa. Keinotodellisuuteen liittyvät tekniikat eri toteuttamistapoineen esitellaan käyttäen esimerkkeinä tällä hetkellä markkinoilla olevia tuotteita. Lopuksi arvioitiin virtuaalitekniikan kehitystä ja sen merkitystä tulevaisuudessa. Tutkimus osoittaa, etta keinotodellisuudelle löytyy runsaasti sovelluksia eri aloilla, ja edullisen PC-tekniikan kehittyessä kustannukset laskevat jatkuvasti, jolloin vähitellen keinotodellisuus yleistyy.

Datanomiopiskelijat sosiaalisen median käyttäjinä

Tutkimukseni aiheena on tarkastella datanomiopiskelijoita sosiaalisen median käyttäjinä. Sosiaalisen median käyttö opetuksessa on nykypäivänä jo aika yleistä. Erilaisia sosiaalisen median keinoja käytetään jo kaikilla oppiasteilla. Opettajan on tärkeää tuntea eri palvelujen tarkoitukset ja soveltuvuus opetustilanteeseen. Työn tarkoitus on tutkia sosiaalisen median palveluja kuudesta eri näkökulmasta, jotka tukevat opetusta ja oppimista. Näitä ovat verkostoitumispalvelut, virtuaalimaailmat, sisällöllinen kirjoittaminen, verkko-oppimisympäristöt, videoverkkopalvelut ja verkkoviestintäpalvelut. Työssä tutkitaan Lappeenrannan Palvelualojen koulun datanomiopiskelijoiden sosiaalisen median palvelujen käyttämistä sekä kysytään käyttöaktiivisuutta ja mielipidettä palvelujen käyttämiseen opetuksessa. Tutkimustulokset antavat kuvan siitä, minkälaisia sosiaalisen median palveluja opiskelijat käyttävät. Tutkimus osoittaa, että datanomiopiskelijat käyttävät sosiaalisen median palveluja ahkerasti, erityisesti wikiä, blogia ja pikaviestimiä sekä Moodle-oppimisympäristöä. Tutkimuksen perusteella voidaan kehittää opetuksen laatua ja opetusmenetelmiä sosiaalisen median opetuskäyttöä tukevaksi. Opettajan rooli muuttuu sosiaalisen median palvelujen käytön myötä yhä enemmän ohjaavaksi ja tasa-arvoiseksi opiskelijoiden kanssa. Opetus muuttuu yhteisöllisemmäksi ja verkostoituneemmaksi. Opettajan ja opiskelijoiden vuorovaikutustaitojen merkitys korostuu. Myös tulevaisuuden haasteet ja ennen kaikkea mahdollisuudet nousevat esiin. Opetuksen suunnittelussa on hyvä pystyä huomioimaan uudet mahdollisuudet ja käyttää niitä kattavasti.

Interaktiivinen NURBS-sovelma opetuskäyttöön

Parametriset NURBS-käyrät ja -pinnat ovat yleisiä työkaluja graafisessa mallinnuksessa, tietokoneavusteisessa suunnittelussa ja muissa sovelluksissa. NURBS-mallinnus on pääosin melko intuitiivista, mutta siinä on joitakin vaikeammin ymmärrettäviä osia. Ihminen oppii parhaiten tekemällä, minkä takia päätettiin tehdä interaktiivinen NURBS-opetussovelma, joka tutustuttaa käyttäjän NURBSien toimintaan. Sovelma toimii www-selaimessa Java-liitännäisen avulla ja hyödyntää Java OpenGL -grafiikkarajapintaa kolmiulotteisen grafiikan piirtämiseen. Sovelma on helppokäyttöinen ja opastaa käyttäjää NURBS-mallinnuksen eri osa-alueissa.

Virtuaalitekniikoiden ja riskianalyysin käyttö kivenmurskainten tuotekehityksessä

Tässä työssä keskitytään Metso Mineralsin valmistamien tuotteiden suunnitteluympäristöön ja erityisesti sen kehittämismahdollisuuksiin uusien teknologioiden avulla. Käyttövarmuuden parantamiseksi yksi potentiaalisimmista keinoista on parantaa laitteiden huollettavuutta. Tyypillisesti huollettavuuden verifiointi tapahtuu vasta prototyyppien testauksessa työmaaolosuhteissa, jolloin havaittujen ongelmien muuttaminen on hankalaa. Siksi huollettavuuteen tulisi kiinnittää enemmän huomiota jo tuotekehitysvaiheessa. Tässä työssä selvitetään virtuaalitekniikoiden tarjoamia mahdollisuuksia em. asioiden parantamiseksi. Työn toisena osakokonaisuutena tutkitaan riskianalyysien kehittämismahdollisuuksia. Tavoitteena on kehittää toimiva menetelmä riskianalyysin suorittamiseen virtuaaliprototyyppien avulla ja testata kaupallisten riskianalyysiin tarkoitettujen sovellusten käyttöä. Lopuksi tarkastellaan vielä uusien menetelmien integrointia osaksi tuotekehitysprosessia. Tehtyjen Case-tutkimusten perusteella havaittiin, että virtuaaliympäristöjen ja -tekniikoiden avulla saavutetaan hyötyä tuotekehityksen varhaisessa vaiheessa. Kyselytutkimuksesta saadun palautteen perusteella virtuaalitekniikoiden sovelluksille annettiin asteikolla 1–5 yleisarvosanaksi keskimäärin kolme. Virtuaalitekniikoiden ja riskianalyysien yhteiskäyttöä testattiin onnistuneesti, mutta tämä vaatii vielä kehittämistä.

Sähköajoneuvon sähkökäytön ja mekaniikan reaaliaikaisen yhdistelmäsimulaation toteuttaminen virtuaaliympäristössä

Esitetyn tutkimuksen tavoite on selvittää yksinkertaisen sähköajoneuvosimulaation avulla sähkökäyttösimulaation ja mekaniikkasimulaation välisen ohjelmallisen rajapinnan toimivuutta ja samalla toteuttaa LUT Energian hybridilaboratorion ensimmäinen rajapintaa hyödyntävä sähkökäytön ja mekaniikan yhdistelmäsimulaatio. Tutkimus on osa Lappeenrannan teknillisen yliopiston hybridikäyttötutkimusta, jossa muun muassa virtuaalisimuloinnin ja in-loop –simulaatioiden avulla tutkitaan raskaiden työkoneiden hybridisoinnin vaikutuksia esimerkiksi niiden suorituskykyyn, energiatehokkuuteen ja käytettävyyteen. Tulokset osoittavat mainitun rajapinnan toimivuuden, mikä mahdollistaa tutkimuksen etenemisen. Lisäksi raportti selvittää virtuaalisimuloinnin keskeisiä käsitteitä (virtual prototyping, hardware-in-the-loop sekä human-in-the-loop –simulointi).

Control of Robot by Means of Human Thought

Brain computer interface (BCI) is a kind of human machine interface, which provides a new interaction method between human and computer or other equipment. The most significant characteristic of BCI system is that its control input is brain electrical activities acquired from the brain instead of traditional input such as hands or eyes. BCI technique has rapidly developed during last two decades and it has mainly worked as an auxiliary technique to help the disable people improve their life qualities. With the appearance of low cost novel electrical devices such as EMOTIV, BCI technique has been applied to the general public through many useful applications including video gaming, virtual reality and virtual keyboard. The purpose of this research is to be familiar with EMOTIV EPOC system and make use of it to build an EEG based BCI system for controlling an industrial manipulator by means of human thought. To build a BCI system, an acquisition program based on EMOTIV EPOC system is designed and a MFC based dialog that works as an operation panel is presented. Furthermore, the inverse kinematics of RV-3SB industrial robot was solved. In the last part of this research, the designed BCI system with human thought input is examined and the results indicate that the system is running smoothly and displays clearly the motion type and the incremental displacement of the motion.

Eleohjaus Google Cardboard-virtuaaliympäristöön käyttäen älypuhelimen kameraa

Tässä opinnäytetyössä on toteutettu ja arvioitu virtuaalitodellisuuteen soveltuvaa käyttöliittymää. Motivaationa työlle oli Google Cardboardin mahdollistama todentuntuinen virtuaalikokemus älypuhelimen hinnalla. Cardboard-ympäristöön ei kuitenkaan ollut olemassa kattavaa käyttöliittymää ja tämän työn tavoitteena olikin selvittää, onko älypuhelimen kameraa mahdollista käyttää eleohjauksen toteuttamiseen niin että ohjaus on käytettävyydeltään kelvollinen ja se tukee läsnäolon tunteen syntymistä. Asian selvittämiseksi kehitettiin testipeli, jolla eleohjausta verrattiin Cardboardin oletuskäyttöliittymään. Koehenkilöt saavuttivat ehdotetulla käyttöliittymällä testipelissä keskimäärin 45-% korkeampia pistemääriä ja lisäksi he arvioivat sen olleen toimiva ja sen synnyttämän läsnäolon tunteen olleen voimakkaampaa.

Resoluutio ennen, nyt ja tulevaisuudessa. Onko 8K tarpeeksi ja kuinka paljon 16K oikeastaan on?

Tämä työ on kirjallisuuskatsaus digitaalisen teräväpiirtoresoluution historiaan, nykyhetkeen ja tulevaisuuteen. Lisäksi käydään läpi eri medioista löytyviä termejä ja pyritään selvittämään näiden termien merkitys lukijalle. Työ on tehty Lappeenrannan teknillisen yliopiston Tietotekniikan osastolle. Teräväpiirtotelevision historia alkaa jo 1960-luvulta ja ensimmäiset teräväpiirtoresoluutiot kehitettiin 1970-luvulla. Kun resoluutiota kasvatetaan, myös kuvatiedoston ja vaadittavan tallennustilan koko kasvaa. Se aiheuttaa uusia haasteita muun muassa lähetys-, pakkaus- ja vastaanotintekniikoille. 4K-resoluutiot ovat jo täällä, mutta miten käy 16K-resoluution. Onko suuresta resoluutiosta hyötyä esimerkiksi Virtual Reality –sovelluksissa?

Novel virtual environment and real-time simulation based methods for improving life-cycle efficiency of non-road mobile machinery

Virtual environments and real-time simulators (VERS) are becoming more and more important tools in research and development (R&D) process of non-road mobile machinery (NRMM). The virtual prototyping techniques enable faster and more cost-efficient development of machines compared to use of real life prototypes. High energy efficiency has become an important topic in the world of NRMM because of environmental and economic demands. The objective of this thesis is to develop VERS based methods for research and development of NRMM. A process using VERS for assessing effects of human operators on the life-cycle efficiency of NRMM was developed. Human in the loop simulations are ran using an underground mining loader to study the developed process. The simulations were ran in the virtual environment of the Laboratory of Intelligent Machines of Lappeenranta University of Technology. A physically adequate real-time simulation model of NRMM was shown to be reliable and cost effective in testing of hardware components by the means of hardware-in-the-loop (HIL) simulations. A control interface connecting integrated electro-hydraulic energy converter (IEHEC) with virtual simulation model of log crane was developed. IEHEC consists of a hydraulic pump-motor and an integrated electrical permanent magnet synchronous motorgenerator. The results show that state of the art real-time NRMM simulators are capable to solve factors related to energy consumption and productivity of the NRMM. A significant variation between the test drivers is found. The results show that VERS can be used for assessing human effects on the life-cycle efficiency of NRMM. HIL simulation responses compared to that achieved with conventional simulation method demonstrate the advances and drawbacks of various possible interfaces between the simulator and hardware part of the system under study. Novel ideas for arranging the interface are successfully tested and compared with the more traditional one. The proposed process for assessing the effects of operators on the life-cycle efficiency will be applied for wider group of operators in the future. Driving styles of the operators can be analysed statistically from sufficient large result data. The statistical analysis can find the most life-cycle efficient driving style for the specific environment and machinery. The proposed control interface for HIL simulation need to be further studied. The robustness and the adaptation of the interface in different situations must be verified. The future work will also include studying the suitability of the IEHEC for different working machines using the proposed HIL simulation method.