Loading…
Multi-state video coding over error prone channels
Ekmekci, Sila
Anwendungen von Verfahren der Multiple Description Coding (MDC) zur Kodierung von Signalen haben in den letzten dreissig Jahren grosses Interesse erweckt. Das Grundprinzip ist die Erzeugung und Übertragung von mehreren Beschreibungen für die gleiche Quelle. Wenn nur eine Beschreibung empfangen wird, rekonstruiert der Empfänger das Signal mit einer akzeptablen Qualität. Die Signalqualität wächst mit der Anzahl der empfangenen Beschreibungen. Multi-State Video Codierung (MSVC) ist eine besondere Form von MDC, wobei die Kodierungseffizienz mit der Fehlerresistenz abgewägt wird. Die Videosequenz wird bei zweifacher Beschreibung in zwei Teilsequenzen aufgeteilt, wobei eine aus den gerade Bildern und die andere aus den ungerade Bildern besteht. Die Bewegungsschätzung zur Kompression erfolgt zwischen benachbarten Bildern in jeder Teilsequenz. Die dadurch enstandenen Bitströme werden in Pakete aufteilt und über unterschiedlich fehlerbehaftete Kanäle zum Empfänger übertragen. Die vorgelegte Arbeit untersucht die MSVC Technik im Hinblick auf das mittlere PSNR (peak signal to noise ratio) bei verschiedenen Paketverlustwahrscheinlichkeiten und Rekonstruktionsmöglichkeiten. Im ersten Teil der Arbeit besteht das Ziel darin, für eine gegebene Gesamtbitrate die optimale Ratenaufteilung zwischen zwei Beschreibungen zu finden. Ausgehend von den gleichratigen Beschreibungen werden ungleichratige Beschreibungen untersucht. Um die Bitraten der Beschreibungen zu variieren und gleichzeitig die Gesamtbitrate konstant zu halten, werden die Quantisierungsgenauigkeiten der beiden Teilsequenzen entsprechend eingestellt. Die Untersuchungsergebnisse haben gezeigt, dass, man, wenn die für die Übertragung benutzten Kanäle mit unterschiedlicher Fehlerrate behaftet sind, durch ungleichratige Beschreibungen Gewinne im mittleren PSNR erzielen kann, wobei der Gewinn um so grösser ist, je bewegungsreicher die Videosequenz und je unterschiedlicher die Fehlerraten der beiden Kanäle sind. Im nächsten Schritt wird MSVC mit Verfahren der Single-State Video Coding (SSVC) and Temporal Layered Video Coding (TLC) verglichen. Dabei wurden zwei Szenarien betrachtet: In dem ersten Szenario wird angenommen, dass in SSVC und TLC die Bewegungsvektoren immer erhalten bleiben. Im zweiten Fall wird keine Bewegungsinformation für verlorengegangene Bilder vorausgesetzt. Die Ergebnisse haben gezeigt, dass im ersten Fall sowohl TLC als auch SSVC MSVC übertreffen, während im zweiten Fall MSVC trotz kleinerem Prädiktionsgewinn vorteilhaft ist. Der Vorteil vom MSVC wird mit wachsender Fehlerrate deutlicher. Im zweiten Teil der Arbeit wird untersucht, wie die Rekonstruktionsfehler theoretisch erfasst werden koennen. Die Fehler setzen sich aus den Quantisierungsfehlern, aber auch aus Verschleierungsfehlern und deren Fortpflanzungen über die Zeit zusammen. Ein rekursives Schätzmodell wurde entwickelt, mit dessen Hilfe der Gesamtfehler jedes Bildes mit einer hohen Genauigkeit und geringer Komplexität geschätzt werden kann, wenn die Fehlerrate der Kanäle und die Quantisierungsfehler vorgegeben werden. Die Methode wurde zuerst für Fehlerschätzung bei einer SSVC-Übertragung entwickelt und danach auf TLC und MSVC-Übertragung erweitert.
The work investigates Multi-State Video Coding (MSVC) which is a Multiple Description Scheme. MSVC is interesting because of its low complexity and its low delay property which makes it attractive for streaming applications. The performance of MSVC is explored in terms of the average PSNR of the reconstructed video sequence. We compare MSVC to Single-State Video Coding (SSVC) and Temporal Layered Coding (TLC) under different channel conditions and reception scenarios. Moreover we investigate the trade-off between rate allocated to quantization accuracy and to intra-coding in terms of its effect on the average PSNR over error-prone channels. Besides balanced MSVC, unbalanced MSVC by adaptation of quantization is analyzed. It was shown under which conditions it is practical to switch to unbalanced operation from the balanced one. Moreover, an improved version of the original MSVC approach is developed where state recovery is not only used for error concealment in case of losses but also then whenever it enables a larger frame PSNR. It was shown that the improved version yields better results for all channel conditions and rate allocations. In the second part of the work, a recursive decoder distortion estimation model based on the AR(1) modeling of the video source is presented and used to support the simulation based results from the theoretical point of view. According to the model, each frame block belongs to a different AR(1) source with all of its corresponding blocks along the video sequence. The distortion of each frame block is calculated dependent on the distortions of its corresponding blocks on the past frames. In the next step, the estimation method is extended from Single-State-Video Coding to Temporal Layered Coding and Multi-State Video Coding. The advantages of the model is its relative low complexity and high estimation accuracy. These properties makes it especially applicable for streaming applications where decoder distortion should be estimated at the server before choosing among the possible streaming options.
