Gaussian Splats sind eine Methode, 3D-Szenen auf möglichst vielen Geräten fotorealistisch darstellbar zu machen.
Was bisher geschah#
Was unterscheidet Gaussian Splats von traditionellen Rendermethoden? Die meisten Darstellungsmethoden von 3D-Daten nutzen 3D-Objekte, die Texturiert werden. Mit der Zeit kamen immer mehr Effekte (sogenannte Shader) hinzu, die eine realistischere Darstellung ermöglichten. Diese Herangehensweise ist hervorragend, wenn z. B. ein Videospiel auf einem PC oder einer Spielekonsole dargestellt werden sollen, ist aber die beste Methode Gegenstände zu scannen und im Webbrowser darzustellen.
Wieso ist das nicht immer praktisch?#
Wenn reale Objekte gescannt und dargestellt werden sollen, erwartet man, dass diese Objekte in der virtuellen Welt genau so aussehen wie das reale Gegenstück. Zu einer realistischen 3D-Szene gehört jedoch mehr als die Polygone und Textur eines Objekts. Es werden Shader benötigt, die die Oberflächeneigenschaften verändern, um kleine Unebenheiten darstellen zu können (auch Tesselation genannt) oder um Reflektionen hinzuzufügen. Auch muss die Beleuchtung genau so nachgebaut werden, wie es in der Originalszene der Fall war. Das Licht muss sich originalgetreu verhalten und durch teiltransparente Oberflächen scheinen und gebrochen werden.
Geht das auch besser?#
Was aufwendig klingt, ist es meist auch. Doch hier kommen Gaussian Splats ins Spiel. Diese kommen ohne Shader, Reflektionen und virtuelle Lichtquellen aus. Genau genommen sind nicht einmal mehr Texturen im Spiel.
Wie kann das funktionieren?#
Statt Pixeln werden sogenannte “Splats” verwendet. Diese Splats können, anders als Pixel, oval verformt werden, um besser Strukturen der echten Welt darstellen zu können. Statt Texturen auf diese Splats zu legen, verfügt jeder Splat selbst über Farbwerte. So ändert ein Splat seine Farbe je nach Blickwinkel. Durch diesen mathematischen Trick, können Shaderprobleme komplett umgangen werden. Zum Abrunden der Erfahrung wird jeder Splat mit einer gaußschen Unschärfe versehen.
Eine Szene besteht meist aus tausenden bis millionen von Splats im 3-dimensionalen Raum. Je mehr Splats verwendet werden, desto aufwendiger wird die Darstellung und Erstellung der Szene.
Wo ist der Haken?#
Das klingt bisher zu schön um wahr zu sein. Bei Gaussian Splats handelt es sich um ein sehr neues Verfahren, das gegen Jahrzehntealte Methoden konkurriert und daher noch nicht den technischen Reifegrad hat wie alternative Methoden. Szenen werden beispielsweise mit einem Machine-Learning-Verfahren erstellt, was enorme Rechenleistung benötigt. Je nach Komplexität der Szene geraten auch moderne Handys an ihre Grenzen und das große Ruckeln beginnt.
Was genau für Gaussian Splats benötigt wird, folgt im nächsten Teil dieser Serie.