Authors creating interactive 3D-applications mostly complain about the lack of possiblities for easy shadow creation. Very often shadows are realized as fakes with big efforts for implementation. Even new and progressive standards like MPEG-4 do not yet support any shadow descriptions for the development of interactive 3D-applications. The lack of an existing possibility of shadow description within the MPEG-4 standard has been the inspiration of this thesis. This scientific work offers general starting points for standardized description, management and interactive representation of shadows withnew methods.In my opinion, for interactive real-time 3D-applications shadows should be as easy to create as with any ordinary non real-time computer animation tool. A general solution for real-time shadow creation needs to meet many requirements, e.g. a suitable shadow description, a well-thought-out shadow management as well as a suitable real-time shadow algorithm.Complex 3D-applications generally use scene graph representations for the internal management of objects such as geometries, light sources and transformations. I represent a novel approach, which enables a simple, flexible and universal solution for shadow description and management with scene graph-based 3D-applications. I define a fundamental rule, which by syntactical and semantical means is adaptable onto different scene graphs. The fundamental rule is called the ”Theory of Shadow Relationship“. Several syntactical and semantical descriptions in companion with those theory form the basis for the shadow description and shadow management in MPEG-4 standard.The visual method for rendering of the shadows is independent of my solution. The results of my research are applied for the development of a new MPEG-4 tool the Shadow Node. I show the application of the ”Theory of Shadow Relationship“ in compliance with the MPEG-4 standard.
Zusammenfassung In der vorliegenden Arbeit konnte verdeutlicht werden, welche Eigenschaften Schatten haben und aus welchen wahrnehmungspsychologischen Gründen auf deren Verwendung bei interaktiven Darstellungen nicht grundsätzlich verzichtet werden kann. Dabei wurde mit Beispielen belegt, dass Schatten in vielen Fällen zu einer deutlich besseren Wahrnehmung führen. Als ein weiteres Ergebnis dieser Arbeit wurde eine allgemein gültige Methode entwickelt, mit deren Hilfe sich Schattenbeziehungen in Szenengraphen mathematisch ausdrücken lassen. Deren Ergebnis ist die entwickelte Theorie der Schattenrelation. Diese besagt, dass sich mit der Festlegung von Objektbeziehungen zwischen Lichtquellen l, Oberflächen o und Schattenobjekten s in einem Szenengraph als 3-Tupel (l, o, s) eine berechenbare Schattenrelation ergibt. Für die 3-Tupel (l, o, s) einer Schattenrelation wurden Evaluationskriterien definiert und Methoden entwickelt, die es ermöglichen, die Wahrscheinlichkeit der Schattenentstehung durch den Ausschluss von 3-Tupeln zu erhöhen. So lassen sich mit diesen Werkzeugen bereits auf einem sehr niedrigen Abstraktionsniveau Optimierungen durchführen. Der MPEG-4 AFX Standard hat sich für eine normierte Schattenbeschreibung als ein hervorragendes Integrationsumfeld erwiesen. Die MPEG-4 SDL wurde in den Kontext formaler Sprachen eingeordnet. Zur Einbindung der Schattenbeschreibung in die MPEG-4 SDL wurden die bestehenden Randbedingungen untersucht. Mit den vorgestellten mathematischen und sprachlichen Grundlagen wurde eine Syntax und Semantik geschaffen, die sich nahtlos in die existierende SDL eingliedert. Dabei wurden die bestehenden Definitionen weder geändert, noch in irgendeiner Weise negativ beeinflusst. Der Shadow Knoten ermöglicht die Erzeugung von Occludern, Receivern und körperbehafteten Lichtquellen zur Schattendarstellung durch den Autor einer MPEG-4 Szene bei Anwendung der neu entwickelten Schattenbeschreibung. Für die auftretenden Spezialfälle der Semantik wurden attraktive Lösungen gefunden. Trotzdem ist die Schattenbeschreibung für den Autor einer MPEG-4 Szene einfach und flexibel geblieben. Die Anwendung dieser genormten Schattenbeschreibung kann sich positiv auf die Verbreitung des Standards selbst auswirken, da interaktive Darstellungen mit Schatten eine neue Qualität bieten. Die Schattenbeschreibung wurde unabhängig von Berechnungsverfahren definiert. Das hat den Vorteil, dass diese ohne Anpassungsprobleme auf andere szenengraph-basierte 3D-Beschreibungen übertragen werden kann und für künftige Entwicklungen in Hard und Software weit offen ist. Spinnt man den Faden noch weiter, dann kann man feststellen, dass das Prinzip einer Relation auch auf die Beschreibung von Reflexionen übertragen werden könnte, da es sich gleichfalls um Vorgänge handelt, die sich als Objektbeziehungen ausdrücken lassen. Für die Integration in den MPEG-4 AFX Standard müssten dann aber in jedem Fall die dafür bestehenden Randbedingungen erfüllt werden. Auch die Methoden zur Optimierung der dabei verwendeten Tupel würden sich von den hier beschriebenen Verfahren unterscheiden. Die technische Umsetzung der grundlegenden Konzepte konnte erfolgreich durchgeführt werden. Die Darstellung von Schatten im Kontext eines lokalen Beleuchtungsmodells wurde mit der Verwendung von Depth-Shadow Mapping, Per-Pixel Beleuchtung und Per-Pixel Attenuation realisiert. Die exakte Darstellung von diffusen und von spekularen Reflexionen sowie die Verwendung des Wirkungsbereichs von Lichtquellen wurde erreicht. Das entwickelte Multipass-Rendering Verfahren ist in der Lage, die durch den Autor festgelegten Schatteneigenschaften cast und receive für das Depth Shadow Mapping Verfahren zu berücksichtigen. Zum Nachweis der Funktionalität des Attributs penumbra des Shadow Knotens wurde das Verfahren der Jittering Lights mit fünf Samples verwendet. Die damit erreichte Interaktivität war zwar ausreichend, aber nicht wirklich überzeugend. Eine größere Verarbeitungsgeschwindigkeit könnte mit der Single Sample Shadows Methode erreicht werden, da hier nur ein Pass für die Penumbraberechnung ausreicht. Trotzdem wurde die Interaktivität bei moderater Komplexität der Szenen bereits mit gängiger PC-Konsumer-Hardware nachgewiesen. Dazu wurde ein PC mit einer Intel Pentium 4 CPU mit 3.2 GHz und einer GForceFX 5600 Grafikkarte verwendet. Aufgrund der vielen Fragmentoperationen im Texturspeicher hat sich die Bandbreite zur Adressierung des Texturspeichers als ein Schwachpunkt erwiesen. Es ist deshalb darauf zu achten, dass die Grafikkarte zur Adressierung des Texturspeichers möglichst 256 Bit verwendet. Wenn man sich die Frage stellt wo der Trend in der Entwicklung der Grafikhardware für Schattenberechnung hingeht, dann ist denkbar, dass sich spezielle Hardware für interaktives Ray Tracing in den nächsten Jahren durchsetzen kann. Endlich wäre man in der Lage die Attribute für eine physikalisch basierte Lichtausbreitung in die Beschreibung der vorhandenen Tools aufzunehmen. Das Anwendungsfeld für MPEG-4 AFX Szenen bliebe somit nicht nur auf den High-End Bereich beschränkt. Das in dieser Arbeit entwickelte Konzept zur Schattenbeschreibung auf der Basis einer Schattenrelation lässt sich ohne weiteres im Umfeld der zukünftigen Entwicklungen im Bereich des Ray Tracings anwenden. Dabei kann die OpenRT API eine Grundlage zur Implementierung in eine Softwareapplikation bieten. Eine wichtige sprachliche Weiterentwicklung im MPEG-4 Standard ist die derzeit forcierte Standardisierung vieler existierender Knoten in XMT-A und XMT-O. Speziell für die Autorensysteme ist XMT-A und XMT-O im Vergleich zu BIFS, als Austauschformat besser, da es jederzeit für den Autor als Klartext lesbar ist. Die Schattendefinition in Form des Shadow Knotens lässt sich mit nur minimalem Aufwand in XMT integrieren. Wie die Ergebnisse der vorliegenden Arbeit belegen, konnten wichtige noch offene Punkte in der Beschreibung von Schatten mit allgemein gültigen Ansätzen gelöst werden. Die Standardisierung des Shadow Knotens im MPEG-4 AFX Standard ist demnächst abgeschlossen. Mit großer Spannung bleibt abzuwarten, wie stark die Resonanz darauf sein wird.