3D painting denotes the process of drawing digitally in a three-dimensional virtual space. In contrast to Virtual Reality (VR) or classic Augmented Reality (AR), projection mapping still represents a largely unknown way of visualizing the digital painting on the physical target surface itself via projection. In this doctoral thesis, we identify the main barriers that keep projection-mapping-based 3D painting, also called projection painting, from being applied as a practical tool in ordinary work environments. We present new projection painting techniques that, on the one hand, explicitly target the spontaneous nature of rapid prototyping workflows. Instead of expecting the user to arduously provide a digital model of their physical target object, the Scan&Paint system incrementally scans the object itself during the painting session and applies image-based rendering techniques to store the paint data and render the painting. On the other hand, the Proxy Painting system innovatively mixes digital and traditional painting methods to bridge the gap between these supposedly contradicting disciplines. A copy of the target object, the so-called proxy object, is painted by the user with traditional means and the paint is digitally recorded and processed for projection onto the real target surface. We further introduce a fast marker-based software synchronization method for both systems' projector and camera to accurately capture the projected imagery during scanning procedures at the devices' native frame rates without the need of additional hardware. The overarching goal of the presented techniques is a high level of practicability and accessibility to advance projection painting to a viable tool in 3D painting.

3D-Malen bezeichnet den Prozess des digitalen Zeichnens in einem dreidimensionalen virtuellen Raum. Im Gegensatz zu Virtueller Realität (englisch Virtual Reality, VR) oder klassischer Erweiterter Realität (englisch Augmented Reality, AR) stellt Projection Mapping eine noch weitgehend unbekannte Technik dar, das digital Gemalte mittels Projektion auf der physischen Zieloberfläche zu visualisieren. In dieser Dissertation identifizieren wir die hauptsächlichen Hürden, die verhindern, dass Projection-Mapping-basiertes 3D-Malen, auch Projection Painting genannt, als praktisches Werkzeug in alltäglichen Arbeitsumgebungen eingesetzt wird. Wir stellen neue Techniken des Projection Paintings vor, die sich auf der einen Seite explizit auf den Aspekt der Spontanität in der schnellen Prototypentwicklung fokussieren. Anstatt von der Benutzerin oder des Benutzers zu erwarten, dass mühsam ein digitales Modell des realen Zielobjekts bereitgestellt wird, scannt das Scan&Paint-System das Objekt selbst, inkrementell und während der Benutzung des Systems, und wendet bildbasierte Rendering-Techniken an, um das Gemalte zu speichern und neue Ansichten zu generieren. Auf der anderen Seite kombiniert das Proxy-Painting-System auf innovative Weise digitale und traditionelle Malmethoden, um zwischen diesen vermeintlich gegensätzlichen Disziplinen eine Brücke zu schlagen. Eine Kopie des Zielobjekts, das sogenannte Proxy-Objekt, wird mit traditionellen Methoden bemalt; die Farbe wird dabei digital aufgezeichnet und für die Projektion auf die reale Zieloberfläche weiterverarbeitet. Darüber hinaus präsentieren wir eine schnelle markerbasierte Software-Synchronisationsmethode für Projektor und Kamera beider Systeme, um die projizierten Bilder während Scanvorgängen mit den nativen Bildfrequenzen der Geräte und ohne zusätzliche Hardware qualitativ hochwertig aufzunehmen. Das übergreifende Ziel der vorgestellten Techniken ist ein hohes Maß an Praktikabilität und Zugänglichkeit, um Projection Painting zu einem brauchbaren Werkzeug im Bereich des 3D-Malens weiterzuentwickeln.