Tørrtrening til virkeligheten

En 70-tallsaktig stålampe, typen med bord nederst på skjermen, lager et gult skinn i det dunkle rommet, hvor en mørkeblå sofagruppe breier seg ut over brun parkett. Det ser litt ut som en kjellerstue – til man får øye på sminkebordet i bakgrunnen. Forfriskningene. Bysten litt tilfeldig plassert langs veggen.

Vi befinner oss i et animert greenroom. Stemningen kan minne litt om en scene fra Grand Theft Auto. I Rockstar Games’ kultspill for PlayStation ville protagonisten beveget seg hastig rundt i rommet på jakt etter penger eller dop, gjerne med et våpen i hånden. I forsker Johannes Lunde Hatfields VR-verden er det en annen type spenning som venter. Fra det simulerte backstageområdet blir man heist opp gjennom gulvet på popstjernevis og plassert foran et virtuelt publikum som venter på å bli underholdt.

VR-laben i sjette etasje på Norges musikkhøgskole gir musikkstudenter muligheten til å tørrtrene på autentiske konsertsituasjoner. Prosjektet, som har fått navnet Øving og prestasjonsforberedelser i det interaktive rom, er tilknyttet CEMPE (Senter for fremragende utdanning i musikkutøving) og er en videreføring av Hatfields ph.d. om mental øving for musikere med utgangspunkt i idrettspsykologi. Med VR-briller på kan man velge mellom ulike saler og settinger tilpasset individuelle treningsbehov – én sal for kammermusikk, en større konsertsal inspirert av Elbphilharmonie i Hamburg, og en jury sitter klar for de som vil øve seg i auditionsituasjoner.

3D-lyd formidles gjennom 12 små Genelec-høyttalere – åtte plassert i en sirkel på gulvet, fire fra hvert sitt hjørne i taket. Komponist og lydkunstner Ulf A. S. Holbrook har mikset og manipulert for å fremmane realistiske klangopplevelser tilpasset de ulike rommene, komplett med publikumslyder tatt opp i Levinsalen på NMH og i Oslo Konserthus.

Pedagog og cellist Hatfield startet arbeidet med VR-laben i 2017. Så langt har studenter kun testet audiobiten av det virtuelle øvingsverktøyet. I november 2019 kom første testrunde med både lyd og bilde ut, og målet er at VR-laben skal kunne tas i bruk fra 2020 – selv om Hatfield er forsiktig med å tidfeste ferdigstillingen. Man møter gjerne noen humper i veien når man gir seg i kast med å utvikle et produkt som verden aldri har sett før.

Vanskelige publikummere

Foreløpig følger vi nemlig den virtuelle øvingsvirkeligheten fra en dataskjerm på skrivebordet i VR-laben – VR-brillene fra Kina som nettopp har ankommet virker ikke som de skal. Pål Hieronimus Aamodt er COO og prosjektleder i Pointmedia, selskapet som står bak 3D-animasjonen i prosjektet. Nå sitter han foran dataskjermen, åpner og lukker vinduer, klikker på ting, prøver å få de store, svarte brillene til å prate med programvaren de har utviklet. Klør seg i hodet.

– Vi får ta det med produsenten, sier han – delvis til seg selv, delvis til Hatfield, som nikker.

VR-laben har budt på flere utfordringer underveis. Som hvordan man skaper klangen av en stor konsertsal i et rom som måler kun fem beskjedne skritt fra ene enden til den andre, for eksempel. Den største nøtten har likevel vært publikum.

– Midt i utviklingsforløpet fant vi ut at mennesket ikke var bra nok. Vi har brukt 1500 timer på å lage et nytt, forklarer Aamodt, henter opp den minste konsertsalen på dataskjermen og zoomer inn på konsertgjengerne.

De sitter slik et veloppdragent publikum på klassisk konsert gjerne gjør, med hendene i fanget og blikket mot scenen. Men ansiktene er like, flere av damene har kjøpt den samme irrgrønne kjolen og mennene har brukt samme frisør. Det er en gammel versjon av programmet vi ser på, forsikrer Hatfield. De nye menneskene Pointmedia har utviklet har rynker, mer tekstur, ulike ansiktsuttrykk.

– Men når man 3D-animerer alt er det begrenset hvor virkelighetsnære bevegelsene kan bli. Har man face capture og motion capture kan man enklere lage publikums bevegelser og ansiktsuttrykk. Men en motion capture-drakt koster rundt 100 000 kr, det krever ressurser for å få tilgang til det, sier Hatfield.

Hosting, klapping og buing

Det er Hatfield og Pointmedia som bestemmer hvordan publikum ser ut. Oppførselen derimot kan forhåndsprogrammeres eller trigges av læreren mens studenten opptrer i den virtuelle konsertvirkeligheten.

«Random cough» og «Random clap» står det på noen av knappene i programmet, «Random sleep» og «Random boo» på andre.

Buing på øvingsrommet – her skal man herdes?

– Hehe ja, men hvis studenten klarer å spille med buing eller masse harking og hosting og fortsatt holder fokus på det musikalske, så vil vedkommende være mer rustet til å få til det samme i en virkelig situasjon. Hjernen er innstilt på at man takler distraksjoner, sier Hatfield.

Målet med VR-laben er ikke å programmere studenter til å fremføre noe perfekt, men å legge til rette for at man klarer å uttrykke det man har på hjertet når det gjelder. Foreløpig er programmet tilpasset en solist og en akkompagnatør, men potensialet er stort, ifølge Hatfield og Aamodt. Programvaren kan bygges ut til å involvere orkester og katedraler, og VR-laben kan også tilpasses øvingssituasjoner innenfor andre fagfelt. Pedagogisk psykologi, for eksempel, hvor man kan trene på å takle vanskelige klasseromssituasjoner.

– Det bør være kursing i hvordan man tenker som utøver når man bruker simulering. Det går på å hente ut det maksimale i en fremføring, tenke at man har one take. Kanskje blir studentene distrahert av de ulike lydene vi legger på når de prøver, ting som til og med kan virke urealistisk. Men det gjør at de blir mer robuste når de kommer i den faktiske situasjonen, sier Hatfield.

VR-teknologien er helt i startgropen, understreker han. VR-brillene er kanskje store nå, men innen tre-fire år vil en liten brille kunne ha samme funksjon. Han legger ikke skjul på at han gjerne skulle hatt mer tid og ressurser til å utvikle prosjektet, og trekker frem RITMO, senteret for tverrfaglig forskning på rytme, tid og bevegelse ved Universitetet i Oslo, som jobber med 10-års perspektiver på forskningen.

– Dette prosjektet har hatt en ramme på to år, det er altfor kort. Med tanke på at vi er de første som gjør dette skulle jeg ønske at NMH hadde satset mer langsiktig på prosjektet. Jeg tror ikke de helt har tatt innover seg hvor komplekst det er å jobbe på dette nivået innenfor teknologi, lyd og bilde. Det vi lager nå er en betaversjon av hva VR-laben kan bli. Vi har laget en grunnmur for noe mye større.