Nowe technologie strumieniowania 8K zostały zaprezentowane podczas Ars Electronica Festival 2019 w Linzu, jako zdalna demonstracja występu artystów pomiędzy Poznańskim Centrum Superkomputerowo-Sieciowym (Poznań, Polska) a Deep Space 8K na Ars Electronica (Linz, Austria). Było to możliwe dzięki wykorzystaniu rozwiązań opracowanych w ramach projektu Immersify w celu wspierania działań artystycznych.
Obecnie strumieniowe przesyłanie wideo w czasie rzeczywistym w rozdzielczości 8K nadal stanowi duże wyzwanie, ale dzięki zastosowaniu technologii kodowania HEVC oraz autorskiego oprogramowania do kodowania i strumieniowego opracowanego przez PCSS, możliwe było zaprezentowanie na żywo wydajności 8K, i pokazanie performance’u zatytułowanego „Receive”.
Demonstracja wykorzystała szereg nowych, ciekawych rozwiązań – od performance’u artystów, poprzez wykorzystanie komputera i kart graficznych do kodowania HEVC 8K, przesyłanie strumieni sieciowych przez tradycyjny Internet zamiast dedykowanych łączy, aż po – dzięki niewielkiemu opóźnieniu około 2 sekund – zdalną interakcję z artystami.
Spektakl został stworzony przez Movement Sonification Lab, grupę artystów zorientowanych na artystyczne, badawcze i afektywne aspekty pętli sprzężenia zwrotnego pomiędzy ciałem w ruchu a środowiskiem dźwiękowym. Wykorzystują oni technologie, które są w stanie udźwiękowiać i wizualizować dane kinetyczne oraz kształtować relacje pomiędzy ruchem i dźwiękiem w czasie rzeczywistym. Receive” to interaktywny spektakl oparty na improwizacji dźwiękowej pomiędzy tancerką – Anną Kamińską i muzykiem – akordeonistą Przemysławem Degórskim. Jest to krótkie studium generowania dźwięku przez akordeon, w którym pośredniczą czujniki tańca i ruchu (opaski Myo). Dźwięk jest przetwarzany w różny sposób wraz z ruchem – od próby stania się kolejnym bezcielesnym muzykiem aż po wzmocnienia analogowych granic barwy instrumentu.
System strumieniowania opracowany przez PCSS w oparciu o kodowanie wideo przyspieszane przez GPU i strumieniowanie sieciowe z wykorzystaniem protokołów RTP/SRT zapewnia bardzo małe opóźnienia pozwalające na interakcję w czasie rzeczywistym. Podczas demonstracji funkcja ta została wykorzystana do realizacji dwukierunkowego kanału komunikacyjnego, co pozwoliło artyście – Janowi Skorupie występującemu lokalnie w Linzu z użyciem kolejnej opaski Myo na sterowanie tłem wizualizacyjnym dla występu artystów z Poznania. Podczas gdy ruch tancerza przetwarzał muzykę poprzez opaskę Myo podłączoną do oprogramowania MAX, muzyka i sygnały z opasek – zarówno z Poznania jak i z Linzu – wpływały na wizualizację tła wyświetlacza 8K w PCSS. Do samej wizualizacji wykorzystano oprogramowanie RESOLUME.
Na to konkretne wydarzenie na żywo przygotowano unikalną konfigurację produkcyjną 8K opartą na sprzęcie SONY. Kluczowym elementem tego systemu były 3 urządzenia IPLive połączone ze sobą lokalną siecią 40G Ethernet. Dwa z nich obsługiwały cztery kamery SONY F65 z obsługą standardu 8K, a trzecie urządzenie pełniło rolę głównego przełącznika wideo, który agregował 4 sygnały wideo z pozostałych dwóch urządzeń IPLive i generował strumień 8K przesyłany do serwera kodującego. Wszystkie kamery 8K zostały podłączone do dwóch skrzynek IPLive ze złączami 3G-SDI poprzez cztery jednostki BPU-8000. Ten sam standard połączenia SDI został również wykorzystany do połączenia mastera IPLive z serwerem strumieniowym. Ostatecznie, ta zaawansowana, eksperymentalna konfiguracja umożliwiła produkcję typowych wydarzeń transmisyjnych z czterema źródłami obrazu na żywo 8K 60fps. Realizator wideo w Poznaniu miał możliwość przełączania strumieni i tworzenia widoków składających się z kilku strumieni z różnych kamer podłączonych do systemu. Powstały w ten sposób strumień wideo 8K obsługiwany przez główny system IPLive został przesłany bezpośrednio do serwera PC wyposażonego w kartę przechwytującą Blackmagic DeckLink 8K Pro. W ostatnim etapie nieskompresowane wideo z kamery zostało zakodowane za pomocą kodeków HEVC z wykorzystaniem framework’u nVidia NVEnc oraz dwóch kart nVidia Quadro P5000. Gotowy strumień został zarejestrowany lokalnie i przesłany w czasie rzeczywistym do Ars Electronica Deep Space 8K w Linz. Na miejscu, strumień został zdekodowany przy użyciu oprogramowania dekodera HEVC firmy Spin Digital Video Technologies GmbH i zaprezentowany uczestnikom dedykowanej sesji strumieniowej 8K w Deep Space 8K.
Tak zaawansowana, wielo-kamerowa transmisja na żywo w rozdzielczości 8K była jedną z pierwszych na świecie, szczególnie jeśli chodzi o publiczną transmisję internetową bez rezerwacji dedykowanego połączenia. W ramach projektu Immersify, PCSS pokazało, że transmisja strumieniowa 8K może być z powodzeniem realizowana w paśmie poniżej 200Mbit/s wraz z użyciem kodeka HEVC przyspieszanego przez GPU o wysokiej jakości i niewielkim opóźnieniu (1-2 sekundy). Ta demonstracja dowiodła, że zdalne interaktywne występy artystyczne najwyższej jakości są teraz możliwe dzięki wsparciu rozwiązań technologicznych opracowanych w ramach projektów badawczych.
Materiał video „Making of” dostępny jest TUTAJ.
