Syksyn 2019 teknologiakartoitus osa 5/5: VR/AR/Holodeck

Syksyn 2019 teknologiakartoitus osa 5/5: VR/AR/Holodeck

Syksyn 2019 aikana Digi-Salama-hankkeessa tehtiin viisi teknologiaselvitystä, joissa teemavastaavien johdolla 15 oppilasryhmää tutki hankkeen eri teknologioita. Tavoitteena ryhmillä oli selvittää mitä valitut teknologiat tarkoittavat pintaa syvemmältä raaputettuna, vertailla eri tuotteita ja tapoja soveltaa teknologioita sekä rakentaa demo annettuun teknologiaan liittyen.

Lue osa 1: Cobotiikka
Lue osa 2: Autonomiset robotit
Lue osa 3: Digital twin
Lue osa 4: Tekoäly ja koneoppiminen

VR/AR/Holodeck

XR-teknologioiden (extended reality) aihealue jaettiin kolmeen osa-alueeseen, joita tutkimaan perustettiin kolme opiskelijoista koostuvaa työryhmää. Ryhmien tehtävänä oli valmistella tekniikka-alustoja Digi-Salaman tulevia projekteja ajatellen. Ryhmät nimettiin VR-, AR sekä Holodeck-ryhmiksi. Ryhmien tavoitteena oli kartoittaa teknologiaa, alalla toimivia yrityksiä sekä toteuttaa mahdollisuuksien mukaan testiprojekti kustakin osa-alueesta, jonka pohjalta tulevia projekteja voitaisiin käynnistää.

Virtual reality (VR) eli virtuaalitodellisuus on simulaatio keinotekoisessa ympäristössä oikeiden aistien avulla. Virtuaalitodellisuus käyttää ihmisen näkö-, tunto- ja kuuloaisteja. Virtuaalitodellisuudella voidaan luoda oikean mukainen tai täysin epäluonnollinen näkymä tietokoneen avulla. Virtuaalitodellisuutta voidaan käyttää mm. pelaamiseen, suunnitteluun, koulutussimulaattorina ja kiinteistöjen esittelyyn. Sitä pidetään myös uutena medianvälityksen kanavana.

VR-teknologiaryhmän selvitysten perusteella hankittiin HTC Vive Pro virtuaalilasit, koska niille löytyi 3D-mallinnusohjelmistojen kannalta paras tuki.

Holodeck on markkinointinimitys ohjelmistolle joka hyödyntää VR-teknologiaa. Holodeck eroaa VR:stä sille erikseen rajatulla liikkumisalueella eli ns. holokannella, joka on rajattu oikeassa elämässä tiettyyn tilaan liiketunnistimin. Holokansi alueella voit liikkua halutussa tilassa VR-lasit päässä liikeohjaimet käsissä. Holokannella voi olla myös muita ihmisiä samanaikaisesti internet yhteyden välityksellä. Sovelluskohteita teknologialle on mm. koulutus, viihde ja arkkitehtuuri. Esimerkiksi, jos Sumesta myydään metsäkone Kanadaan, voi suomalainen kouluttaja holodeck-teknologiaa hyväksikäyttämällä kouluttaa koneen käyttöä matkustamatta paikanpäälle.

AR eli lisätty todellisuus yhdistää reaalimaailmaan virtuaalisia elementtejä. Lisättyä todellisuutta voidaan soveltaa monin laittein. AR-lasien lisäksi sovellutuksia on myös puhelimiin ja tabletteihin, mikä tuo teknologian lähelle suurta määrää käyttäjiä. Lisätyn todellisuuden avulla voi esitellä kehitettävää tuotetta tai projektia ilman sen fyysistä läsnäoloa näyttelyssä tai esityksessä. AR-teknologiassa on todennäköisesti eniten hyödynnettävää potentiaalia: sitä käytetään jo mm. sairaaloissa sekä huollon ja kunnossapidon yhteydessä. Esimerkiksi huolto- korjaus- ja kokoonpanotöiden yhteydessä on mahdollista saada tarkempia ohjeita työn aikana lisätyn todellisuuden avulla ja kädet ovat koko ajan vapaina itse työntekoon. Lisättyä todellisuutta voidaan käyttää myös museoissa, taidenäyttelyissä ja muissa kulttuuri- ja koulutuslaitoksissa.

XR-teknologioista tehtiin peräti 6 erilaista demoa ja tutkielmaa.

Demo 1 – Holodeck ratkaisujen vertailu

Holodeck-ryhmä tutustui virtuaalitodellisuuden osa-alueeseen, missä katsoja paikannetaan määritetyssä tilassa suhteessa malliin. Tämä tapahtuu ns. majakoiden avulla ja katsoja voi tilan sallimissa rajoissa liikkua suhteessa malliin.

Tavoitteena tässä projektissa oli tutkia mitä tarkoitetaan ns. Holokansilla, kuka sellaisia toimittaa ja projektoida sellaisen hankinta Metropolian Myyrmäen toimipisteeseen. Toimittajaksi valittiin Upknownledge Oy. Holodeck-tilojen ja -laboratoriosovellutusten toimitus tapahtui kevään 2020 aikana ja ne ovet nyt testikäytössä.

Demo 2 – Catia ja NX CAD-järjestelmien VR-laajennusten selvittäminen ja protoilu

Tässä projektissa testiin otettiin CAD-järjestelmien VR-pluginit. CAD-ohjelmien toimittajat ovat integroineen VR-ominaisuuden joko vakio- tai lisäominaisuudeksi omiin ohjelmiinsa. Näitä haluttiin tutkia ja testiin otettiin Catia- ja NX-järjestelmät. VR-laitteina toimivat Oculus Rift S ja HTC Vive Pro. Projekti toteutui varsin onnistuneesti ja nyt osaavat tulevat koneinsinöörit esitellä tuotoksiaan myös VR-ympäristössä.

Demo 3 – AR-teknologiaan tutkiminen ja vertailu, demo Realmaxin headsetillä

AR-ryhmä selvitti lisätyn todellisuuden teknologiaa ja miten sitä voidaan nykypäivänä hyödyntää erilaisissa osa-alueissa. Suunnitelmana oli löytää sopiva ja luotettava yritys, josta voitaisiin ostaa AR-lasit, joiden avulla voitaisiin toteuttaa AR-sovelluksia. Laseista vertailtiin Microsoftin Hololensejä, saksalaisia dgZ laseja sekä Realmaxin Realware laseja. Näistä päädytiin hankkimaan Realwaren lasit. Näissä on integroitu puhe- ja videoyhteys molempiin suuntiin sekä puheentunnista eli kapistusta voi ohjata puhumalla. Laseja kokeiltiin etäohjauksessa ja huoltotoimenpiteiden opastuksessa sekä nille tehtiin AR-käyttöliittymä laboratorion kuljetinhihnalaitteistolle.

Realwaren AR-lasit

Demo 4 – Automaatiolaboratorion fotogrammetria, 3D-mallinnustapojen vertailu ja VR-demo

Tässä projektissa haasteeksi annettiin tutkia eri tapoja mallintaa Myyrmäen automaatiolaboratorio ja rakentaa siitä VR-elämys. Alkuun tutkitiin mahdollisuuksia tehdä 3D-malli fotogrammetrialla, mutta tämä ei onnistunut mm. suurten lasipintojen vuoksi. 3D-malli päätettiin rakentaa Sketch Up -ohjelmistolla. Malli syntyikin oivasti ja seuraavaksi tutkittiin erilaisia renderöintitapoja. Renderöinti tai hahmonnus tarkoittaa kuvan luomista mallista tietokoneohjelman avulla. Näin joudutaan tekemään, koska muuten VR-malleista tulisi liian raskaita ja tarkemmat pintaprojisiot pitää tehdä sitä mukaa kuin mallissa liikutaan.

Lopulliseksi VR-ympäristöksi valittiin Unity-pelimoottori. Alkuun renderöintiä testattiin erilaisilla Sketch Up -plugineilla. Näistä V-Ray teki selvästi parasta jälkeä. Ongelmaksi tuli, että myös Unity olisi tarvinnut saman pluginin. Lopullinen renderöinti päädyttiin tekemään Unity omilla renderöintityökaluilla. Tehty malli palvelee jatkossa, kun labraa halutaan kehittää Digital Twin labran suuntaan.

Demo 5 – Automaatiolaboratorion skannaus Leikan skannerilla ja 3D-mallin rakentaminen

Tässä projektissa tarkoituksena oli laserkeilata automaatiolaboratorioluokka ja luoda siitä mahdollisimman yksityiskohtainen ja tarkka 3D-kuva pöytineen, työpisteineen, robotteineen ja kantavine rakenteineen. Lopullinen tarkoitus projektilla on luoda tilasta virtuaaliluokka, jossa voidaan virtuaalisesti tehdä töitä tai harjoitella turvallisesti mallinnuksia ja robottien käyttöä oikeassa ympäristössä oikeilla laitteilla.

Laserkeilauksen ansiosta luokasta saadaan täsmälleen oikeassa mittakaavassa oleva kuva, jossa työpisteiden sijainti on millimetrin tarkkuudella oikeassa paikassa. Leican skannerin lisäksi projektissa käytettiin Cyclone-ohjelmaa. Lopullinen malli on jatkokäytettävissä DXF-muodossa.

3D-kuva automaatiolaboratoriosta

Demo 6 – VR-pohjainen ambulanssisimulaattori ja demo Mannerheimintiellä ajamisesta

Digi-Salama avusti Metropolian ensihoidon yksikköä ambulanssisimulaattorin hankinnassa ja suunnittelussa. Yhteistyössä XR-pääaineen opiskelijoiden kanssa laadittiin demo, jossa ampulanssisimulaattorilla pääsee ajamaan pätkän Mannerheimintietä. Simulaatioympäristöä on tarkoitus käyttää oikean simulaattorin yhteydessä jolloin tärkeää on, että ambulanssin nopeudet ja kihtyvyydet saadaan ulos mallista. Tässä projektissa selvitettiin miten Unityn saisi liitetty TwinCAT PLC:llä ohjattavaan oikeaan simulaattoriin. Liityntätavaksi valikoitui Game4Automationin liityntäkirjasto, jonka avulla oikea simulaattori saatiin tottelemaan VR-ympäristön liikkeitä. Seuraava steppi tässä olisikin rakentaa sama oikean ambulanssin ympärille.

Yhteenveto

Digi-Salaman puitteissa on keskitytty teollisuutta hyödyntävien sovellutusten selvittämiseen.

Teknisesti mm. 3D-mallien katselmointi onnistuu helposti VR-laseilla ja Holodeck-tilassa. Valmiutta mallien käsittelyyn VR-maailmassa ei ole vielä yleisesti saatavilla. Tekniikkaa sovellettaessa on huomioitava, että CAD-sovellutuksiin optimoidut PC:t eivät ole tehokkaita VR-maailmassa, jossa tarvitaan puolestaan mm erilaisia näytönohjaimia.

Holodeck-tekniikkaa voidaan hyödyntää mm koulutuksessa. Näiden sovellutusten tekeminen vaatii hieman enemmän aikaa ja osaamista. Lopputuloksena voidaan saavuttaa kuitenkin merkittäviä etuja koulutuksen turvallisuuden ja saavutettavuuden suhteen.

Lisätyn todellisuuden tekniikan arveltiin sisältävän eniten potentiaalia sovellutusten suhteen. Tekniikkaa voidaan soveltaa kaikkien käytettävissä olevilla mobilelaitteilla sekä AR-laseilla. AR-laseissa vaikuttaa olevan vielä kehitettävää, vaikka mm puheohjaukseen yhdistettynä, saadaan tuotettua hienoja sovellutuksia. Myös AR-sovellutusten tekeminen vaatii osaamista.

Kokonaisuutena virtuaalitodellisuuden sovellutukset ovat ottamassa vasta ensiaskelia teollisuudessa. 5G-tekniikka lisää tiedonsiirron kapasiteettia ja tulevaisuudessa voi olettaa virtuaalitodellisuuden sovellutusten olevan jokapäiväisiä ja tarjoavan vielä osin tuntemattomiakin etuja.