CINEMATIC VR – wirtualna rzeczywistość o charakterze filmowym. Rozmowa z twórcami kursu Cinematic VR ze Speakers Avenue

Co to jest Cinematic VR i czym różni się od wirtualnej rzeczywistości oraz filmów 360?

Jacek Nagłowski: Cinematic VR to taka wąska dziedzina całego zjawiska, jakim jest wirtualna rzeczywistość. Wkładamy na głowę gogle, zanurzamy się w wirtualnym świecie, w którym są gry, bardziej i mniej pragmatyczne aplikacje, internet, nowe społeczności itp. Ale są też opowiadane historie – i te opowieści w wirtualnym świecie to właśnie cinematic VR. Cinematic, bo ma wiele wspólnego z filmem, choć filmem pewnie już nie jest – nie ma tutaj tradycyjnie rozumianego kadrowania, montaż też nie pełni swojej funkcji w sposób, jaki znamy – a to są podstawowe środki, którymi opowiada się historię w filmie. Ale ciągle mamy pewną zarejestrowaną sekwencję zdarzeń, dramaturgię, a i sam proces produkcji doświadczenia cinematic VR jest bardzo zbliżony do procesu produkcji filmowej. Podstawową różnicą jest jednak to, że opowiadamy już nie tyle za pomocą obrazu w ruchu, ile za pomocą przestrzeni w ruchu. Ta przestrzenność VR kompletnie zmienia reguły gry. To dlatego filmy 360 (które można oglądać również bez gogli VR) nie są kwalifikowane jako cinematic VR – mamy w nich do czynienia jedynie ze sferycznym, otaczającym nas, ale płaskim obrazem. W cinematic VR mamy do czynienia z przestrzenią, albo przynajmniej z iluzją przestrzeni. To powoduje, że czujemy się autentycznie zanurzeni, autentycznie obecni w przedstawianym świecie.

Jak bardzo różni się język filmu tradycyjnego od języka Cinematic VR? W kategoriach obrazu i dźwięku?

Jacek Nagłowski: No właśnie, nie do końca obraz, ale przestrzeń. Choć oczywiście informacja o tej przestrzeni dociera do naszego mózgu m.in. przez wzrok, czyli w tym sensie obraz.

Pola Borkiewicz: Myślę, że rozróżnienie kategorii obrazu i dźwięku wymaga doprecyzowania, ponieważ definicyjnie pojęcie obrazu jest niezwykle szerokie, więc będziemy tu raczej szukać różnic w stosunku do kadru i dźwięku. W publikacji Piotra Francuza, Imagia. W kierunku neurokognitywnej teorii obrazu, znajdziemy opis obrazu jako przedmiotu płaskiego lub przestrzennego, statycznego lub dynamicznego. Obraz jest wykreowany przez człowieka, w celu zakodowania w nim treści, a więc nadania pewnego sensu przez twórcę za pomocą środków, na które wrażliwy jest wzrok. Techniki, w jakich może być zrealizowany obraz, mogą być zarówno rysunkiem, jak i fotografią, rzeźbą, ruchem teatralnym, filmem 2D, 3D etc. Widać więc, że pojęcie obrazu jest niezwykle pojemne i niezależne od techniki, w jakiej obraz został stworzony. Osobiście bardzo lubię cytat z książki Imagia: „ostatecznie materią, z której zbudowane są obrazy, jest światło w zakresie odpowiadającym ok. 400-700 nanometrów długości fali elektromagnetycznej o zmiennej intensywności”.

Jacek Nagłowski: Ale wracając do języka: tak jak sto lat temu nauczyliśmy się, że pewne zestawienia obrazów lub elementów obrazów wywołują pewne efekty emocjonalne czy informacyjne, tak samo teraz musimy uczyć się, jak działają ze sobą zestawienia przestrzeni i elementów tych przestrzeni w czasie, aby faktycznie móc wywoływać emocje, aby móc przekazać pewne treści, aby budować nową estetykę adekwatną dla tego medium. Nasz kolega, Miłosz Hermanowicz, nazywa to estetyką obecności i myślę, że to bardzo trafne określenie. Jednak my tych środków jeszcze nie znamy, dopiero je odkrywamy. Nowego języka jeszcze nie ma, próbujemy go dopiero tworzyć i to potrwa jeszcze ładnych parę lat. Jesteśmy na bardzo wczesnym etapie rozwoju tego nowego medium. Na to nakłada się wiele innych zagadnień – kwestia imersji i obecności, problemy związane z ruchem, również z interaktywnością, która wydaje się być w VR czymś bardzo naturalnym, a jednocześnie wcale nie pomaga w opowiadaniu historii. To wszystko są zagadnienia, z którymi musimy się mierzyć, czerpiąc z bardzo wielu innych dziedzin: od teatru, przez instalacje artystyczne różnego rodzaju, przez architekturę, a skończywszy na grach. Do tego konieczna jest również wiedza związana z percepcją, sposobem przetwarzania informacji przez nasz mózg – i tutaj z pomocą przychodzi psychologia, kognitywistyka, neurobiologia. Ogólnie spory kawałek niezaoranego pola. I to jest fascynujące.

Pola Borkiewicz: W kategorie imersji i poczucia psychofizycznej obecności uwikłanych jest wiele teorii neuronaukowych, dlatego prace nad nowym medium są udziałem interdyscyplinarnych zespołów specjalistów. Interaktywność, która wydaje się naturalna, ale też kłopotliwa, czy chociażby afordancja, która mówi o tym, że mamy możliwość oddziaływania na obiekty w przestrzeni, wymagają gruntownych badań. Okazuje się bowiem, że prowadzenie narracji z wykorzystaniem interaktywności jest w wirtualności zagadnieniem nierozpoznanym. Mechanizmy doświadczenia estetycznego, które uruchamiamy stojąc przed obrazem, są związane chociażby z tym, że refleksja nie zachodzi przy aktywacji motoryki naszego ciała. Zatem włączenie ruchu do środków oddziaływania niezwykle komplikuje procesy percepcji i uświadamiania znaczeń.

Grzegorz Pamrów: Jak wspomniał już Jacek, Cinematic VR, wirtualna rzeczywistość to medium przestrzenne (przestrzeń w ruchu), pozbawione ograniczeń w postaci kadru, w którym odpowiednio trzeba umiejscowić dźwięki, nadać im przestrzenność – oczywiście nie wszystkim, precyzyjnie dopasować je do wizualnych odpowiedników, uwzględnić “okluzje”, głębie przestrzeni, akustykę, śledzenie ruchów głowy (head tracking – bardzo ważna funkcja), HRTF-y (Head-related transfer function) i wiele innych czynników.

A co to są HRTF-y?

Grzegorz Pamrów: Gdy dźwięk dociera do naszego ciała z konkretnej lokalizacji w przestrzeni, jego fale odbijają się od naszych: głowy, małżowiny usznej, ramion, itp., a każdy widz/uczestnik zbudowany jest oczywiście inaczej. Te odbicia powodują zmiany w długości i kształtowaniu się fal, wpływając na głośność i jakość dźwięku. Te zmiany to właśnie HRTF-y. Choć subtelne, okazują się dość istotne w interpretowaniu przez nasz mózg gdzie znajduje się źródło dźwięku. W Cinematic VR, nie tak jak w filmie tradycyjnym, warstwy dźwiękowej doświadczamy za pomocą słuchawek. Nie ma jeszcze słuchawek, które unifikowałyby kalibrację HRTF-ów w satysfakcjonujący sposób dla wszystkich, choć podobno takie powstają. Jednak ważniejsze od samych HRTF-ów jest śledzenie ruchów głowy. Technologia i narzędzia w kategoriach audialnych, na dzień dzisiejszy, są najsłabiej rozwinięte.
Tak jak nie mamy już do czynienia z kadrowaniem w Cinematic VR, lub musimy je przedefiniować, tak samo jest z dźwiękiem pozakadrowym, który tutaj nazwiemy, stosując terminologię Michela Chiona – dźwiękiem akusmatycznym – czyli takim który słyszymy, ale nie widzimy (jeszcze) jego źródła. Dźwięki niediegetyczne przyjmują troszeczkę inną rolę.

Obecnie Cinematic VR skupia się na tworzeniu technik, które za pomocą dźwięk i audiowizji umiejętnie pokierują uwagą widza, zapożyczając wiele z nich ze świata gier i filmu tradycyjnego. Natomiast nie umie jeszcze opowiadać ciekawych historii, budować dramaturgii, wywoływać emocji w relacji audiowizja-przestrzeń/przestrzenność+inne zmysły – ale wszystko przed nami, możliwości są ogromne. Tak jak w większości nowych filmów, 98% dźwięków to postprodukcja. Tak samo jest z Cinematic VR, wirtualną rzeczywistością.

Jak wytłumaczyć “taktoaudowizualność”? Znalazłem takie określenie czytając opis kursu…

Jacek Nagłowski: Wiele osób podchodzi do VRu i Cinematic VR jak do medium audiowizualnego: w końcu zakładamy na oczy okulary, na uszy słuchawki – wydaje się, że tylko przez te dwa zmysły docierają do nas informacje. Ale wirtualna rzeczywistość angażuje całe nasze ciało – zmysł równowagi, korelacje pomiędzy położeniem poszczególnych części ciała, napięcie mięśni wywoływane różnymi bodźcami – wszystko to związane jest ze zmysłem dotyku, stąd to już trzy, a nie dwa zmysły są związane z tym medium, stąd taktoaudiowizualność, a nie tylko audiowizualność, jest cechą tego medium.

Pola Borkiewicz: Doświadczenie CinematicVR angażuje ludzką percepcję w znacznie większym stopniu. Układ nerwowy to nie tylko tradycyjnie pojmowany świat pięciu zmysłów. Wzrok, słuch i dotyk są zmysłami zewnętrznymi, ale mamy również zmysły, które reagują na bodźce z wnętrza organizmu, jak propriocepcję czy zmysł przedsionkowy.

Propriocepcja dzieli się dalej na zmysł kinestetyczny, który umożliwia nam umiejscowienie wszystkich części ciała w przestrzeni oraz zmysł wewnętrzny, który dostarcza informacji zwrotnych na temat stanów organizmu, takich jak praca serca, temperatura, napięcie mięśniowe i dolegliwości narządów wewnętrznych. To zmysł wewnętrzny pozwala nam rozpoznać i nazwać emocje. Natomiast zmysł przedsionkowy pomaga w utrzymaniu równowagi i zachowania dogodnego ułożenia względem działania siły ciężkości.

Każda podstawowa emocja, jak strach, gniew, smutek, szczęście etc. jest związana z doznaniami somatycznymi (cielesnymi) pobudzanymi przez określony wzorzec aktywacji mózgu. Biologiczne podłoże emocji w ciele i w mózgu znamy pod pojęciem afektu.

Zatem pojęcie taktoaudiowizualności dotyczy połączenia trzech dominujących zmysłów: wzroku, słuchu i dotyku, przy czym dotyk jest bardzo złożonym aspektem.

Czym jest imersja? Dzięki jakim elementom “zanurzamy się” w narracji?

Pola Borkiewicz: Imersja niejako pochłania zdolności percepcyjne, jest rodzajem iluzji, sposobem odcięcia człowieka od innych sfer niż trwanie w doświadczeniu wirtualnym. Wirtualność w tradycji filozoficznej jest potencjalnością. W najszerszym ujęciu, zanurzamy się w doświadczeniu dzięki słowu, obrazowi 2D, instalacjom nowych mediów, doświadczeniom 3D i innym, które dzisiaj nazwać można x-Realities. Wszystkie one mogą „zanurzać” i wprowadzać nas w imersyjny stan. Z jednej strony istotna jest więc konstrukcja tego doświadczenia, musi mieć pewne cechy, które pomogą danej osobie odpłynąć w wykreowany świat, rodzaj interaktywności. Z drugiej, jest w tym dążenie odbiorcy do poznania dzieła, nasza naturalna skłonność.

Jacek Nagłowski: W przypadku wirtualnej rzeczywistości i narracji z nią związanej w dalszym ciągu zostajemy przy pojęciu „imersja”, ale pojawiła się też nowa rzecz, która bardzo często imersją jest nazywana, przez co stała się takim wytrychem dla VR. My nazywamy to „obecnością”. Przez obecność rozumiemy poczucie fizycznego przebywania wewnątrz świata przedstawionego – czy to świata gry, czy to świata filmu – i to fizyczne zanurzenie to jest zupełnie nowa jakość, nieobecna w poprzednich mediach narracyjnych.

Pola Borkiewicz: Mówimy o fizycznej, ale też psychoemocjonalnej obecności w danym miejscu. Im więcej zmysłów uczestniczy w doświadczeniu (polisensoryczność), tym większy ślad może ono pozostawić w pamięci. Imersja może być pogłębiana przez ilość bodźców, a bodźce z różnych kanałów zmysłowych zwiększają wrażenie, czyli przeżycie.

Pola Borkiewicz: Nasz mózg jest interpretatorem, ciągle tłumaczy nam rzeczywistość. Od dziecka uczymy się ustalać granice, co jest dobre a co złe, co jest realne, a co nie etc. Każdy tworzy narracje na wielu poziomach, by rozumieć świat dynamicznych zmian wokół nas. W tym ujęciu doświadczenie teraźniejszości jest już pewnego rodzaju wirtualnością, prawdopodobnie z tego powodu kino jest tak powszechnie lubianą formą spędzania czasu.

Jacek Nagłowski: Więc i tak uczestniczymy w narracjach, bez względu na to, czy tworzymy je sobie sami w głowie, czy one są stworzone przez kogoś innego. I rzeczywiście przez to poczucie „obecności” zanurzenie w cudzych narracjach jest jak ciekawa podróż. Podróż do wnętrza czyjejś głowy.

Pola Borkiewicz: De facto taka podróż odbywa się każdej nocy, analizuję to zjawisko jako reżyser snów. Większość z nas śni każdej nocy, chociaż często nie pamiętamy naszych marzeń sennych. Niemniej to jest pierwotne immersyjne doświadczenie, do którego nie potrzebujemy dodatkowych gogli ani headsetów, projekcja odbywa się w naszej głowie.

Co łączy sen i wirtualną rzeczywistość?

Pola Borkiewicz: Wspominałam o kategoriach Wirtualności i Realności, ponieważ współcześnie wszyscy doświadczamy coraz większego rozmycia ich granic. W przyszłości rozpoznanie rzeczywistości może być już nie do zweryfikowania przez nasz umysł, co rodzi również uzasadnione obawy. Percepcja jest procesem aktywnego konstruowania świata w czasie rzeczywistym, dokonujemy symulacji zarówno w stanie czuwania jak i we śnie. Wyniki badań nad snem ukazują sen REM, czyli fazę marzeń sennych, jako pierwotne doświadczenie wirtualności. Jednym z badaczy snów, świadomości i wirtualnej rzeczywistości jest psychiatra Allan Hobson, który wskazuje na świadomy sen (lucid dreaming) jako źródłowe doświadczenie wirtualności przynależne naszemu gatunkowi. Śniący mózg jest filmowcem w znaczeniu dosłownym, ponieważ tworzy kadry, scenariusz, muzykę etc., jest jednocześnie aktorem, reżyserem i jedynym odbiorcą swojego dzieła. Generuje te wszystkie stymulacje dla siebie i robi to każdej nocy, pomimo iż zwykle nie pamiętamy swoich snów. Tak więc metafora snu jako filmu jest zjawiskiem źródłowo doświadczanym przez ludzi podczas marzeń sennych. W kulturze silnie zakorzeniona jest też metafora kina jako zbiorowego (kolektywnego) snu, zwłaszcza że w początkach kinematografii Kino nazywane było Pałacem Snu (Dream Palace).

Jak oceniacie Państwo stan świadomości filmowców i studiów filmowych na temat możliwości technologii VR?

Jacek Nagłowski: Stan świadomości wszystkich na temat tego medium jest jeszcze znikomy, dopiero zdobywamy tę wiedzę, wszyscy, bez względu na dziedzinę. W filmie widać jednak, że zainteresowanie tematem jest ogromne. Począwszy od festiwali – prawie wszystkie poważne imprezy mają już w swoim programie mniejsze lub większe sekcje dedykowane VR, poprzez instytucje finansujące, a skończywszy właśnie na studiach filmowych i samych filmowcach. W Polsce to właśnie w Szkole Filmowej w Łodzi prowadzimy pierwsze zajęcia z tej dziedziny i pierwsze badania związane z językiem tego medium. Za granicą nazwiska takie jak Spielberg, Ridley Scott czy Peter Jackson – wszyscy mierzą się z tematem. Ostatnio świetne opinie zebrało doświadczenie przygotowane przez Alejandro Iñárritu na festiwal w Cannes – to bardzo zaawansowana artystycznie produkcja, ale niestety niedostępna nikomu poza osobami obecnymi na festiwalu, bo jest to w zasadzie instalacja artystyczna wykorzystująca VR.

Grzegorz Pamrów: Studia filmowe w dużym stopniu stronią od stosowania i inwestowania w technologię VR. Wszyscy raczej czekają na ukształtowanie się języka, pewne standardy w technologii. Choć niektóre z nich mają swoje kanały VR, niedawno Disney. Mniej więcej od 2 lat częstą praktyką studiów stało się tworzenie doświadczeń VR, które służą w pewien sposób jako teasery/trailery premier filmowych (w ostatnich tygodniach To), lub są dodatkowym narzędziem marketingowym do promocji filmu, dające możliwość ‘obecności’ w danej przestrzeni filmowej, np. VR experience z serialu Stranger Things.

Jakie zagrożenia niesie ze sobą rozwój technologii VR? Przypominają mi się sztampy z filmów science fiction typu “wszedł do cyberprzestrzeni i już z niej nie wyszedł”.

Jacek Nagłowski: Zagrożenia, które przychodzą na myśl jako pierwsze, właśnie te związane z uzależnieniem i chęcią ucieczki od rzeczywistości nie są (przynajmniej moim zdaniem) tymi najbardziej niebezpiecznymi. Zawsze byli ludzie, którzy mieli skłonność do uzależnień i zawsze byli tacy, którzy uciekali od rzeczywistości – i zawsze znajdowali na to sposób. Do tego celu narkotyki pozostaną chyba lepszym środkiem – przynajmniej jeszcze przez jakiś czas. Nie sądzę, aby VR była tu czymś co radykalnie zmieni ludzi pod tym względem. Natomiast na pewno wpłynie ona bardzo na sposób, w jaki pracujemy, w jaki nawiązujemy relacje, sposób w jaki załatwiamy interesy – i skutki tego nie zawsze będą pozytywne. Wiele branż będzie musiało zupełnie zmienić podejście do tego czym się zajmują, stosunki pracy po raz kolejny ulegną jeszcze większemu rozluźnieniu. Ale największym zagrożeniem jest chyba to, że do chwili obecnej nie wiemy i długo jeszcze nie będziemy wiedzieli, co VR robi z naszymi głowami i co ktoś może z jego pomocą nam zrobić. Skoro można z pomocą VR leczyć fobie czy wychodzić z autyzmu, to można też pewnie zryć beret dość konkretnie – problem w tym, że nie wiemy jeszcze jak, i nie wiemy jakie długofalowe skutki będzie to miało dla naszego funkcjonowania.

Pola Borkiewicz: Doświadczenie wirtualne pozostaje doświadczeniem realnym dla człowieka, a więc emocje które rodzi są przeżywane tu i teraz, w naszych ciałach wydzielane są np. hormony stresu czy neuroprzekaźniki modyfikujące nasze reakcje. Teoria neuroplastyczności mózgu wyjaśnia nam, że są to zmiany fizyczne, że pod wpływem doświadczeń tworzą się połączenia między neuronami i dokonuje się zmiana na poziomie biologicznym. Przebywanie w wirtualnej rzeczywistości z pewnością będzie miało wpływ na funkcjonowanie mózgu i kierunek rozwoju świadomości kolejnych pokoleń. Ciekawe jest to, że mimo wielu wątpliwości, wyniki badań notorycznych graczy pokazują, że doświadczenia w środowisku w jakim się znajdują godzinami powodują trenowanie różnorodnych umiejętności, a obraz ich mózgu zbliżony jest do osób medytujących.

Przyszłość zawsze budzi obaw przed nieznanym, jednak długoterminowe prognozowanie nigdy się nie sprawdzało, więc nierozsądne jest widzieć ją w ciemnych barwach, lepiej ją współtworzyć i mieć swój wpływ na to, jaka może być.

Do kogo skierowany jest kurs Cinematic VR?

Grzegorz Pamrów: Kurs jest otwarty dla wszystkich. W szczególności zapraszamy filmowców, filmoznawców, studentów i absolwentów kierunków artystycznych, miłośników wirtualnej rzeczywistości i nowych technologii, twórców gier. Wszystkich którzy chcą dowiedzieć się o dotychczasowych dokonaniach w obszarze Cinematic VR i wirtualnej rzeczywistości.

Link do kursu Speakers Avenue

Link do wydarzenia na Facebooku

Rozmawiał: Jakub Koisz