VR / AR

Augmented Reality (AR), eller "utvidet virkelighet" på norsk, er en samlebetegnelser på teknologier som lar oss utnytte digitale enheter (datamaskiner, nettbrett, mobiltelefoner) med kamera for å vise bilder der vi kombinerer bilder av omgivelsene med et bilde, film eller tredimensjonalt objekt, som legges oppå de bildene som kameraet fanger. Det hele skjer i sanntid, slik at vi kan få følelsen av å se det som omgir oss med et tillegg, som ikke er der i den fysiske virkeligheten.

Videoen til høyre viser hvordan IKEA sin AR-app brukes for å plassere møbler. På den måten kan en kunde få et ganske godt inntrykk av hvordan noe tar seg ut hjemme, før vedkommende går til det skritt å kjøpe et nytt møbel.

AR kommer imidlertid i mange former. En applikasjon som kan minne litt om ting vi skal gjøre er fra lyd- og videoinstallasjonen Operasjon Bruno, ved Fjell festning. Her bestemmes brukerens posisjon ved hjelp av små radiosendere (altså ikke visuelle merker, som et kamera kan oppfatte) og brukeren blir tatt med på en lydfortelling som er tilpasset de ulike stedene i festningsanlegget. Noen steder kommer det også opp videoer, som på illustrasjonen til venstre, der en video viser noe som kan ha skjedd på den lokaliteten hvor brukeren befinner seg. Videoene er ikke AR, men siden de er knyttet til det stedet hvor videoen blir vist får vi noe av den samme effekten.

Vi kan f eks bruke QR-koder for å lage en kobling til en video eller en lydfil. Selv om dette ikke er ekse AR kommer vi ganske langt med å koble innhold til et sted på denne måten.

To hovedformer

Det finnes en rekke ulike løsninger som gjør at vi ganske enkelt kan lage en løsning med AR. Noen fungerer direkte på mobiltelefon og nettbrett, mens andre baserer seg på at vi legger inn selve innholdet via en datamaskin og en webtjeneste.

Grovt sett kan vi dele disse AR-applikasjoner inn i to hovedgrupper, ut fra hvordan innholdet vi legger inn blir presentert for brukeren.

1. Fri plassering

Dette gjelder apper som lar brukeren velge og plassere et virtuelt objekt og forflytte dette på skjermen. Objektet blir dermed plassert over det bildet kameraet ser, men er ikke "limt" fast til en bestemt plass. Bygningen i bildet til venstre er plassert på denne måte, og tillater brukeren å prøve ut flere ulike plasseringer.

2. Plassering med visuelle merker / tagger

I disse tilfellene knytter den som legger inn innholdet inn selve objektet, samt et visuelt bilde som brukes som "trigger". Den lyseblå "konkylien" i bildet til venstre kommer opp på skjermen når kameraet fanger opp et bestemt bilde, som henger på veggen bak. Objektet beholder i dette tilfellet plasseringen sin i forhold til bildet, når kameraet beveges. Animasjonen av insektet (vist nedenfor) er et eksempel på denne teknikken.

2.1. Bilder som tagger

Å bruke tegninger eller fotografiske bilder som visuelle tagger er det som egner seg best dersom AR skal integreres som del av en visuell fortelling.

Til dette kan vi bruke en gratis tjeneste/app som HP-Reveal (veiledning for denne appen).

2.2. QR-koder

Såkalte QR-(Quick Response)koder er en gammel teknologi, og dermed svært velprøvd. Dette dreier seg om en visuell kode, som er nært beslektet med strekkoder. Mange smarttelefoner er utstyrt med QR-kodeleser i kamerappen, eller du kan laste ned en egen app for å lese slike koder.

QR-koder kan inneholde flere tusen tegn, men er mest anvendte for korte meldinger.

Følgende typer meldinger kan leses inn fra en QR-kode, dersom du benytter smarttelefon:

– Vise bokstaver og tall som er lagt inn i QR-koden

– Gå til URL angitt i QR-koden

– Ring nummeret, der QR-koden angir nummeret

– Åpne e-postklient, der QR-koden angir mottager

– Sende vCard, der QR-koden angir visittkortdata

– Sende en SMS, der QR-koden angir mottager

– Sende en MMS, der QR-koden angir mottager

Vi kan dermed bruke QR-koder på en måte som kan supplere ren AR. F eks ved å legge link (URL/nettadresse) til en YouTube-video inn i en QR-kode og deretter plassere denne koden f eks i en bok, eller på en plakat. Dersom brukeren skanner koden vil mobiltelefonen gå til URL

Koden ovenfor inneholder teksten "QR-koder er enkel å lage ved hjelp av tjenester som https://www.the-qrcode-generator.com/".

Bøker med AR

AR brukes gjerne til å lage spill som kan brukes på mobilen. Det mest kjente eksempelet er kanskje Pokemon Go, et mobilspill som hadde enorm suksess for noen år siden og som fremdeles er svært populært.

Videre har mange selskaper som jobber med AR lagt til rette for å bruke dette sammen med trykte medier. Typiske bruksområder er å linke en artikkel i en avis eller magasin til en webside, f eks en annonse for biler der den innebygde linken leder direkte til en nettside der du kan bestille prøvekjøring.

Nå har det etter hvert også kommet bøker som retter seg mot barn. Bildebøker passer AR godt og er på mange måter et opplagt marked, i grenselandet mellom tradisjonelle bøker, film og spill.

Til høyre ser du et eksempel fra faktaboken "Kryp", dvs boken ligger på en sofa, mens en animasjon av insektene vises gjennom en gratis app («iBugs AR»). Denne appen er laget spesielt for akkurat denne boken.

I en nettsak fra NRK sier en representant for det norske forlaget:

– Det er forholdsvis kostbart å lage appene, som dessuten må driftes med stadige oppdateringer.

Forlagene tar derfor sjelden sjansen på å satse på spesialtilpassede AR-bøker med tilhørende apper, kun for det norske markedet. I større markeder spesialiserer enkelte forlag seg på AR-bøker, som de så selger til utlandet. "Kryp" er et eksempel på en slik, innkjøpt tittel. Selve appen inneholder lite tekst, siden dette jo finnes i papirboken, men appen tilbyr visualiseringer, lyd og noe tilleggsinformasjon.

Det er i og for seg ikke noe i veien med denne boken. Vi bruker den først og fremst som eksempel fordi den er såpass grundig omtalt i saken fra NRK. Samtidig eksemplifiserer boken et generelt problem med mange oversatte bøker: de er i utgangspunktet skrevet for et annet marked enn det norske. I stedet for å få informasjon om norske insekter, dyr, fugler, kunstnere, historiske hendelser, etc så får vi her kun se eksempler på arter som nok aldri kommer til Norge. Som underholdning kan dette være greit, men som læremiddel vil dette ha liten relevans for norske elever.

I sitatet ovenfor peker representanten for forlaget på kostnadene ved å lage slike apper. Premisset synes imidlertid å være at appene lages fra grunnen av. Det finnes imidlertid andre muligheter, dersom vi velger å basere oss på eksisterende apper som tillater oss å legge til innhold. Videre kan vi basere oss andre typer innhold enn de tredimensjonale animasjonene som er brukt i "Kryp".

Vi skal jobbe på lignende måte, men i stedet for tredimensjonale objekter kan vi jobbe med videoer, lyder og/eller todimensjonale animasjoner. Den enkleste måten å gjøre dette på er å bruke publiseringsløsninger som har god støtte for mobile enheter. For video er YouTube en klar kandidat, for lyd kan man bruke Soundcloud, bilder kan publiseres via Flickr eller lignende. Det viktigste er at de tjenestene du bruker gjør det mulig å få en link (en URL) til mediefilen og at denne er publisert slik at alle som har denne linken kan se filen.

Legge inn 3D-objekter

Å lage egne 3D-modeller tar litt tid og øvelse, men i tilfelle du ønsker å inkludere dette kan du lage dine egne modeller ved hjelp av gratis 3D-verktøy f eks Sketchup, Sculptris eller Tinkercad.

Det er også mulig å finne gratis 3D-modeller via f eks 3D-warehouse. Dette er en tjeneste som i utgangspunktet er knyttet til programmet Sketchup, men som også kan brukes for å laste ned modeller for andre formål.

Flere AR-apper kan inkludere 3D-modeller. En mulig løsning er å publisere modellen, f eks via Sketchfab. Denne tjenesten har også en egen app, som kan være et alternativ dersom du vil publisere 3D-innhold for AR.


Visuell støtte ved hjelp av AR

I videoen ser du eksempler på bruk av appen SketchAR. Den er laget for å rettlede brukeren i tegning ved hjelp av AR. Appen viser virtuelle bilder på et papir / vegg slik at du kan se tegninger gjennom telefonens kamera.

Apper som dette har nok begrenset nytte dersom du bruker en mobiltelefon, siden du må holde telefonen samtidig som du tegner. Det blir langt enklere dersom en bruker en AR-brille, som Microsoft Hololens. Foreløpig er dette dyr teknologi, men vi kan være ganske sikre på at slikt utstyr vil bli betydelig rimeligere i årene som kommer.

Det kan blant annet bli spennende å se hva som skjer i det rene konsumentmarkedet, f eks i form av Snapchat Lensstudio i kombinasjon med Spectacles.

Foreløpig er ikke animasjonen til venstre (lages med Snap Lens Studio) et eksempel på AR, siden denne animasjonen ikke vises for brukeren i sanntid. Videobildene fra kameraet kombineres imidlertid med den tredimensjonale animasjonen på en måte som gir den samme typen visuelt uttrykk.

Når tekniske løsninger, som det en finner i Microsoft Hololens, blir rimeligere kan vi forvente å finne dette i produkter rettet mot massemarkedet.