Gaussian Splatting

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springen Zur Suche springen
Beispielbild eines 3D-Gaussian Splats
Gaussian Splatting 3D Model eines verfallenen Gebäudes, erstellt aus dem Filmmaterial einer Drohne

Gaussian Splatting ist eine Volumenrendering-Technik, die sich mit der direkten Darstellung von Volumendaten befasst, ohne diese in Oberflächen- oder Linien-Primitive umzuwandeln.[1] Die Technik wurde ursprünglich Anfang der 1990er Jahre von Lee Westover als „Splatting“ eingeführt.[2] Mit Fortschritten in der Computergrafik wurden neuere Methoden wie 3D- und 3D-Temporales Gaussian Splatting entwickelt, die Echtzeit-Darstellung von Strahlungsfeldern und dynamischen Szenen ermöglichen.[3][4]

Volumenrendering konzentriert sich auf die Erzeugung von Bildern aus diskreten Volumendaten, die üblicherweise in drei Dimensionen abgetastet werden. Diese Daten können aus verschiedenen Quellen wie CT-Scans oder Ozon-Dichtemessungen stammen. Traditionelle Methoden wandelten diese Volumendaten in Linien und Oberflächen-Primitive um, um sie auf Computergrafik-Displays darzustellen. Dieser Ansatz führte jedoch manchmal zu Artefakten und beeinträchtigte die interaktive Ansicht.[1]

Um diese Probleme zu lösen, wurden direkte Rendering-Techniken entwickelt, die mit den ursprünglichen Volumendaten arbeiten. Diese Methoden lassen sich in zwei Hauptkategorien einteilen: Feed-Backward-Methoden und Feed-Forward-Methoden. Der Splatting-Algorithmus, als Feed-Forward-Methode, befasst sich direkt mit der Darstellung von rechtwinkligen Volumen-Gittern. Splatting kann so angepasst werden, dass Volumen entweder als Wolken oder Oberflächen dargestellt werden, indem die Schattierungsfunktionen angepasst werden, was Flexibilität im Renderprozess bietet.[1]

Seit seiner Einführung hat sich Splatting in vielerlei Hinsicht weiterentwickelt. Zu den bedeutenden Entwicklungen gehören Texturierte Splats, Anti-Aliasing, bildausgerichtetes, schichtbasiertes Splatting, nachklassifiziertes Splatting und die Einführung eines Splat-Primitivs namens „FastSplats“.[2]

3D Gaussian Splatting

[Bearbeiten | Quelltext bearbeiten]

Jüngste Fortschritte in der neuartigen Ansichts-Synthese haben die Nützlichkeit von Radiance Field-Methoden gezeigt. Um die visuelle Qualität zu verbessern und gleichzeitig Echtzeit-Darstellungsraten zu gewährleisten, wurde eine neue Methode entwickelt, die 3D-Gaussian verwendet. Diese Methode integriert spärliche Punkte, die während der Kamera-Kalibrierung erzeugt wurden, und stellt Szenen mit 3D-Gaussian dar, die Eigenschaften kontinuierlicher volumetrischer Strahlungsfelder beibehalten. Zusätzlich wurde eine verflochtene Optimierungs- und Dichtekontrolle der 3D-Gaussian eingeführt, zusammen mit einem schnellen, sichtbarkeitsbewussten Rendering-Algorithmus, der anisotropes Splatting unterstützt.[3] Diese Technik hat Potenzial zur Echtzeit-Synthese hochwertiger 3D-Szenen aus 2D-Bildern gezeigt.[5]

3D Temporales Gaussian Splatting

[Bearbeiten | Quelltext bearbeiten]

Durch die Erweiterung des Konzepts des 3D-Gaussian Splatting integriert das 3D-Temporale Gaussian Splatting eine Zeitkomponente, die dynamische Szenendarstellung ermöglicht. Es stellt dynamische Szenen dar und konzentriert sich darauf, komplexe Bewegungen effizient zu modellieren.[4] Die Methode verwendet ein HexPlane, um verschiedene benachbarte Gaussian zu verbinden, was eine präzise Darstellung von Positions- und Formverformungen ermöglicht. Durch die Verwendung eines einzigen Satzes kanonischer 3D-Gaussian und prädiktive Analytik modelliert das 3D-Temporale Gaussian Splatting, wie sie sich über verschiedene Zeitstempel hinweg bewegen.[6] Es ist zu beachten, dass diese Methoden manchmal fälschlicherweise als 4D-Gaussian Splatting bezeichnet werden. Diese Namenskonvention impliziert die Verwendung von 4D-Gaussian-Primitiven (parametrisiert durch eine 4x4-Mittelwert- und eine 4x4-Kovarianzmatrix). Die meisten Arbeiten in diesem Bereich verwenden jedoch weiterhin 3D-Gaussian-Primitiven, die zeitliche Einschränkungen als zusätzlichen Optimierungsparameter anwenden.

Erfolge dieser Technik umfassen die Echtzeit-Darstellung von dynamischen Szenen in hoher Auflösung bei gleichbleibender Qualität. Sie zeigt mögliche Anwendungen für zukünftige Entwicklungen in Film und anderen Medien, wobei derzeitige Einschränkungen hinsichtlich der Länge der erfassten Bewegung bestehen.[6]

Einzelnachweise

[Bearbeiten | Quelltext bearbeiten]
  1. a b c L. Westover: Splatting: a parallel, feed-forward volume rendering algorithm. 1. Juli 1991 (semanticscholar.org [abgerufen am 25. Oktober 2024]).
  2. a b Jian Huang: Splatting. (PPT) 2002, abgerufen am 5. August 2011 (englisch).
  3. a b Bernhard Kerbl, Georgios Kopanas, Thomas Leimkuehler, George Drettakis: 3D Gaussian Splatting for Real-Time Radiance Field Rendering. In: ACM Trans. Graph. Band 42, Nr. 4, 26. Juli 2023, ISSN 0730-0301, S. 139:1–139:14, doi:10.1145/3592433 (acm.org [abgerufen am 25. Oktober 2024]).
  4. a b Guanjun Wu, Taoran Yi, Jiemin Fang, Lingxi Xie, Xiaopeng Zhang, Wei Wei, Wenyu Liu, Qi Tian, Xinggang Wang: 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering. IEEE, 2024, ISBN 979-83-5035300-6, S. 20310–20320, doi:10.1109/CVPR52733.2024.01920 (ieee.org [abgerufen am 25. Oktober 2024]).
  5. By: High Quality 3D Scene Generation From 2D Source, In Realtime. In: Hackaday. 3. September 2023, abgerufen am 25. Oktober 2024 (amerikanisches Englisch).
  6. a b Carl Franzen: Actors’ worst fears come true? New 4D Gaussian splatting method captures human motion. In: VentureBeat. 16. Oktober 2023, abgerufen am 25. Oktober 2024 (amerikanisches Englisch).