Der TU Graz-Forscher Dieter Schmalstieg entwickelte ein Verfahren, das die Vorzüge von Cloud Computing und Virtual Reality kombiniert. Damit können Videospiele zukünftig auch auf günstigen und kabellosen VR-Brillen in hoher Qualität dargestellt werden.
Streamingdienste wie Netflix oder Amazon Prime sind längst Normalität. Nun hält die nächste digitale Technologie Einzug in die Unterhaltungsindustrie: Cloud Gaming. Die Technik gleicht jener von Videodiensten. Das Computerspiel läuft auf einem Server des Cloud-Anbieters. Die Spielenden greifen per Internet auf das Programm zu und bekommen Bild und Ton auf jedes beliebige Endgerät geschickt. Voraussetzung ist dabei nicht mehr so sehr die neueste Hardware, sondern eine schnelle Internetverbindung, die die großen Datenmengen von den Rechenzentren zu den Spielgeräten transportiert – möglichst verzögerungsfrei und damit ohne nerviges Ruckeln.
Cloud Computing soll außerdem Virtual Reality-Spiele auf eine neue Stufe heben. Hier stellt der Datenaustausch eine noch größere Herausforderung dar. Die “flüssige” Darstellung von Sequenzen auf Virtual-Reality-Brillen benötigt eine bis zu zehnmal höhere Rechenleistung als konventionelle Videospiele, da mehr Pixel und mehr Bilder pro Sekunden dargestellt werden müssen. Die traditionelle Videoübertragung stößt hier rasch an ihre Grenzen. Dieter Schmalstieg vom Institut für Maschinelles Sehen und Darstellen hat mit seinem Team nun ein neues Verfahren entwickelt, das der kabellosen VR-Technologie zum endgültigen Durchbruch in der Spieleindustrie verhelfen kann.
Neues Verfahren verbessert die Latenz drastisch
Das sogenannte “Shading Atlas Streaming” erlaubt es, die nötige Übertragungsrate deutlich zu senken. “Vereinfacht ausgedrückt streamen wir mit unserem System keine Videos, sondern geometrisch codierte Informationen, die von der VR-Brille decodiert und in ein Bild übersetzt werden”, erklärt Schmalstieg die Technologie.
Die Latenz – also die Verzögerungszeit, die bei der Signalübertragung, beim Zwischenspeichern von Daten oder beim Prüfen von Datenpaketen entsteht – wird mit dem System nicht vermieden, sondern quasi ausgeglichen. “Latenz vollständig zu vermeiden ist unmöglich. Unsere Art der Codierung erlaubt es aber, innerhalb eines kleinen Zeitfensters in die Zukunft korrekte Bilder vorherzusagen. So können wir die Latenzzeit ausgleichen, die wahrgenommene Latenz ist damit nahezu Null”, so Schmalstieg. Konkret werden mithilfe des Shading Atlas Streaming die Pixelfehler in der Darstellung auf ein paar wenige Prozent reduziert, sodass sie nicht als störend wahrgenommen werden.
Effiziente Nutzung vorhandener Hardware
Für die praktische Anwendung ist es wichtig, die neue Technik in bestehende Infrastruktur integrieren zu können. Daher verwenden die Forscher das herkömmliche MPEG-Kompressionsverfahren zum Transport der Daten. Die notwendige Leistung für das Decodieren der 3D-Information ist in VR-Brillen bereits vorhanden. Es ist also keine neue Hardware nötig, um Shading Atlas Streaming nutzen zu können.
Shading Atlas Streaming ist überall dort einsetzbar, wo 3D-Daten anfallen und VR-Brillen zum Einsatz kommen. Mit dem Chiphersteller Qualcomm als Partner wird bereits an einer kommerziellen Umsetzung der Forschungsergebnisse gearbeitet.
Dieter Schmalstieg ist ein Forschungspionier in den Bereichen Augmented Reality und Virtual Reality. Als erfolgreichster Erfinder der TU Graz erhielt er 2017 die Nikola-Tesla-Medaille. Kürzlich wurde er mit dem Forschungspreis des Landes Steiermark 2019 ausgezeichnet.
Dieses Forschungsprojekt ist im FoE “Information, Communication & Computing” verankert, einem von fünf Stärkefeldern der TU Graz.