Raum als Bild, Bild als Raum
Für das Ausstellungsprojekt „Nach Innen gedacht“ haben wir einen Teil der Ausstellung räumlich erfasst und als interaktives 3D Gaussian Splat für das Web aufbereitet. Das Ergebnis ist weder klassische Fotografie noch ein konventionelles 3D-Modell. Es ist eher ein räumliches Bild: Man kann sich darin bewegen, den Blickpunkt verändern und Zusammenhänge erkunden, die eine einzelne Aufnahme nicht zeigen könnte.
Was ist ein Gaussian Splat?
Fotografien bilden einen Raum aus genau einem Blickwinkel ab. Ein 3D-Modell geht meist den umgekehrten Weg: Oberflächen werden geometrisch rekonstruiert und anschließend mit Materialien und Texturen versehen. 3D Gaussian Splatting liegt gewissermaßen dazwischen.
Aus vielen Aufnahmen einer realen Umgebung wird eine räumliche Repräsentation berechnet. Sie besteht aus sehr vielen kleinen dreidimensionalen Gauß-Funktionen – den Gaussians. Vereinfacht kann man sie sich als winzige, transparente, farbige Ellipsoide vorstellen. Jedes besitzt eine Position im Raum, eine Größe und Ausrichtung, eine Farbe und eine Transparenz. Millionen dieser Elemente überlagern sich beim Rendern zu einem zusammenhängenden Bild.
Das Entscheidende daran ist: Es wird nicht zuerst eine geschlossene Oberfläche konstruiert. Das Erscheinungsbild entsteht direkt aus einer großen Menge räumlich verteilter Bildelemente. Deshalb besitzen Splats eine eigentümliche Qualität. Aus geeigneten Perspektiven können sie beinahe fotografisch wirken; bewegt man sich durch sie hindurch oder betrachtet sie von außen, wird ihre Konstruktion sichtbar. Flächen lösen sich auf, Konturen werden durchlässig, und aus dem scheinbar festen Raum wird eine Wolke räumlicher Bildinformation.
Eine Aufnahme, durch die man sich bewegen kann
Für ein Projekt über Innenarchitektur ist genau diese Eigenschaft interessant. Innenräume lassen sich nur bedingt auf einzelne Ansichten reduzieren. Abstände, Sichtachsen, Überlagerungen und die Beziehung von Objekten zueinander erschließen sich erst durch Bewegung.
Das eingebettete Splat bewahrt einen Teil dieser Erfahrung. Es dokumentiert nicht nur, wie etwas von einem bestimmten Standort aus aussah, sondern hält viele mögliche Ansichten gleichzeitig bereit. Der Standpunkt wird erst beim Betrachten gewählt.
Dabei ist das Splat keine neutrale Kopie des realen Raums. Wie eine Fotografie ist es Ergebnis einer Aufnahme und einer technischen Übersetzung. Manche Bereiche sind sehr genau erfasst, andere bleiben fragmentarisch. Reflexionen, feine Geometrien und schlecht beobachtete Flächen können sich auflösen. Gerade an diesen Stellen wird sichtbar, dass hier keine materielle Architektur vorliegt, sondern ihre aus Bildern rekonstruierte Erscheinung.
Vom aufgenommenen Raum zum Web-Splat
Die ursprüngliche Rekonstruktion ist für eine direkte Übertragung im Browser zu groß. Für raumgrid wird sie deshalb in eine für das Web geeignete Form übersetzt. Die Gaussians werden räumlich organisiert, komprimiert und in viele einzelne Datenpakete zerlegt.
Gleichzeitig entstehen mehrere Detailstufen, sogenannte Levels of Detail (LOD). In der höchsten Stufe besteht die Szene aus rund 9,5 Millionen Gaussians. Für jede weitere Stufe wird ihre Zahl halbiert. In großer Entfernung reichen dadurch wesentlich weniger Elemente aus, während in der Nähe die detailliertere Repräsentation verwendet werden kann.
Der Browser muss deshalb nicht die gesamte Szene in voller Auflösung laden. Der Viewer entscheidet während der Bewegung, welche Bereiche sichtbar sind und welche Detailstufe dort benötigt wird. Die entsprechenden Daten werden nachgeladen und dargestellt. Aus einem großen 3D-Datensatz wird so ein räumlicher Stream.
Für die Wahrnehmung soll dieser technische Unterbau möglichst unsichtbar bleiben. Seine Aufgabe ist nicht, sich in den Vordergrund zu schieben, sondern einen komplexen aufgenommenen Raum so bereitzustellen, dass er sich unmittelbar im Web betrachten lässt.
Wer genauer wissen möchte, was dabei tatsächlich durch die Leitung kommt, findet unter dem Splat die technische Zerlegung: von den 9,47 Millionen Gaussians der höchsten Detailstufe über den LOD-Baum und die WebP-Chunks bis hinunter zu Position, Skalierung, Orientierung und Farbe eines einzelnen Gaussians.
Aufnahme und Verarbeitung: Stephan Retzlaff
Navigation: MOUSE W↑ A← S↓ D→ E+ Q-