Data-Driven Analysis and Interpolation of Optical Material Properties

Abstract

Reproducing the characteristic appearance of materials digitally is of considerable importance for the creation of photo-realistic images. However, due to the high complexity of many real-world materials, modeling them accurately is a difficult problem. Therefore, data-driven techniques have received considerable attention in the last years. In these approaches, the optical material properties from actual material samples are measured. This enables their faithful reproduction and the creation of synthetic images which are difficult to distinguish from actual photographs of the material. Still, these techniques have not yet found wide-spread practical application. This is mainly due to the fact that the measurement process is still time-consuming and expensive and that the resulting datasets are large and difficult to process and edit. This dissertation is split into two parts which address these questions by providing more efficient representations and interpolation techniques for optical material properties.<br /> The first part is concerned with representations for optical material properties and techniques to derive these representations from measurements. First, we investigate considerable improvements of the compression speed of the classical PCA based representation of BTFs. For this, we describe a GPU accelerated technique to compute the PCA of very large data-matrices. Then, we introduce a compact representation for BRDFs, based on a PARAFAC tensor decomposition, and for BTFs, based on a sparse tensor decomposition. Finally, we develop techniques to reconstruct the reflectance behavior of a material from a sparse and irregular input sampling either using a representation via a heightfield and a mixture of analytical BRDFs or by fitting a sum of separable functions to the sparse samples.<br /> In the second part, we explore material editing approaches based on the interpolation between measured exemplars. For this, we develop data-driven interpolation techniques for BRDFs, textures and BTFs. We demonstrate that it is possible to create believable interpolation sequences even for materials with complex feature topology, spatially varying reflectance behavior and a meso-structure resulting in strong parallaxes. These techniques provide the foundation for an intuitive and powerful material editing approach, which gives the end user the ability to create a new material by combining the characteristics of several measured samples.

Die digitale Reproduktion des charakteristischen Erscheinungsbildes eines Materials ist von erheblicher Bedeutung für die Erzeugung von fotorealistischen Bildern. Aufgrund der hohen Komplexität vieler realer Materialien ist ihre Modellierung jedoch ein schwieriges Problem. Daher wurde in den letzten Jahren viel an datengetriebenen Techniken geforscht. Bei diesen Verfahren wird das optische Erscheinungsbild einer realen Materialprobe vermessen. Dies ermöglicht deren akkurate Wiedergabe und damit die Erzeugung von synthetischen Bildern, die nur schwer von Fotografien des Materials zu unterscheiden sind. Dennoch haben diese Verfahren noch keine breite Anwendung in der Praxis gefunden. Dies liegt hauptsächlich daran, dass die Messungen nach wie vor aufwändig und teuer und die resultierenden Datensätze groß und schwierig zu verarbeiten und editieren sind. Diese Dissertation besteht aus zwei Teilen, die sich diesen Problemen durch die Entwicklung von effizienten Repräsentationen und Interpolationstechniken für optische Materialeigenschaften widmen.<br /> Der erste Teil beschäftigt sich mit Repräsentationen für optische Materialeigenschaften und Techniken zur Rekonstruktion dieser Repräsentationen anhand von Messungen. Zuerst wird dabei eine deutlich schnellere Kompression der klassischen auf einer PCA basierenden Repräsentation für BTFs untersucht. Hierfür wird eine GPU-beschleunigte Technik, um die PCA von großen Datenmatrizen schnell zu berechnen, beschrieben. Weiterhin werden kompakte Repräsentationen für BRDFs, basierende auf einer PARAFC Tensorfaktorisierung, und für BTFs, basierend auf einer dünnbesetzten Tensorzerlegung, eingeführt. Schließlich werden Techniken, um das Reflexionsverhalten eines Materials anhand einer dünnen und unregelmäßig abgetasteten Messung zu rekonstruieren, entwickelt. Hierbei werden sowohl eine Höhenkarte zusammen mit eine Mixtur analytischer BRDFs als auch eine Summe separierbarer Funktionen als mögliche Repräsentationen untersucht.<br /> Im zweiten Teil werden Materialeditiertechniken, die auf der Interpolation zwischen mehreren vermessenen Materialproben basieren, erforscht. Hierfür werden datengetriebene Interpolationstechniken für BRDFs, Texturen und BTFs entwickelt. Es wird gezeigt, dass es möglich ist, mit diesen Techniken plausible Interpolationssequenzen zu erzeugen. Dies gelingt sogar für Materialien mit komplexer Featuretopologie, räumlich variierendem Reflexionsverhalten und einer Mesostruktur, die starke Parallaxen verursacht. Diese Techniken bilden die Grundlage für intuitive und leistungsfähige Anwendungen zum Editieren von Materialien, welche es einem Benutzer ermöglichen, neue Materialien zu designen, indem er die Charakteristika mehrerer vermessener Proben kombiniert.