Multimedia Applications
of the Wavelet Transform
Inauguraldissertation zur Erlangung
des akademischen Grades eines
Doktors der Naturwissenschaften
der Universit
¨
at Mannheim
vorgelegt von
Dipl.–Math. oec. Claudia Kerstin Schremmer
aus Detmold
Mannheim, 2001
Dekan: Professor Dr. Herbert Popp, Universit¨at Mannheim
Referent: Professor Dr. Wolfgang Effelsberg, Universit¨at Mannheim
Korreferent: Professor Dr. Gabriele Steidl, Universit¨at Mannheim
Tag der m ¨undlichen Pr¨ufung: 08. Februar 2002
If we knew what we were doing,
it would not be called research, would it?
— Albert Einstein

Abstract
This dissertation investigates novel applications of the wavelet transform in the analysis and compres-
sion of audio, still images, and video. In a second focal point, we evaluate the didactic potential of
multimedia–enhanced teaching material for higher education.
Most recently, some theoretical surveys have been published on the potential for a wavelet–based
restoration of noisy audio signals. Based on these, we have developed a wavelet–based denoising
program for audio signals that allows flexible parameter settings. It is suited for the demonstration of
the potential of wavelet–based denoising algorithms as well as for use in teaching.
The multiscale property of the wavelet transform can successfully be exploited for the detection of
semantic structures in still images. For example, a comparison of the coefficients in the transformed
domain allows the analysis and extraction of a predominant structure. This idea forms the basis of

von Parametern, und eignet sich daher sowohl zur Demonstration der M¨achtigkeit Wavelet–basierter
Entrauschungsans¨atze, als auch zum Einsatz in der Lehre.
Die Multiskaleneigenschaft der Wavelet–Transformation kann bei der Standbildanalyse erfolgreich
genutzt werden, um semantische Strukturen eines Bildes zu erkennen. So erlaubt ein Vergleich der
Koeffizienten im transformierten Raum die Analyse und Extraktion einer vorherrschenden Struk-
tur. Diese Idee liegt unserem im Zuge der vorliegenden Arbeit entstandenen halbautomatischen
Kantensegmentierungsalgorithmus zugrunde. Eine Reihe empirischer Evaluationen ¨uber m¨ogliche
Parametereinstellungen der Faltungs–basierten Wavelet–Transformation mit daraus resultierenden
Empfehlungen schließen sich an.
Im Zusammenhang mit dem Teleteaching–Projekt Virtuelle Hochschule Oberrhein (VIROR), das den
Aufbau einer semi–virtuellen Universit¨at verfolgt, werden viele Vorlesungen und Seminare zwischen
entfernten Orten ¨ubertragen. Dabei stießen wir auf das Problem der Skalierbarkeit von Videostr¨omen
f¨ur unterschiedliche Zugangsbandbreiten im Internet. Ein wichtiger Beitrag dieser Dissertation ist, die
M¨oglichkeiten der Wavelet–Transformation f¨ur die hierarchische Videokodierung aufzuzeigen und
durch empirische Studien belegte Parameterempfehlungen auszusprechen. Eine prototypische Im-
plementierung einer hierarchischen Client–Server Videoanwendung beweist zudem die prinzipielle
Realisierbarkeit einer Wavelet–basierten, fast beliebig skalierbaren Anwendung.
Mathematische Transformationen digitaler Signale stellen f¨ur Studierende der Anfangssemester eine
h¨aufig untersch¨atzte Schwierigkeit dar. Angeregt durch das VIROR Projekt setzen wir uns in einem
weiteren Teil dieser Dissertation mit den M¨oglichkeiten einer multimedialen Aufbereitung mathema-
tischer Sachverhalte auseinander; sowohl die technische Gestaltung als auch eine didaktische Integra-
tion in den Unterrichtsbetrieb werden er¨ortert. In einem groß angelegten Feldversuch Traditionelle
Lehre versus Multimedia–gest
¨
utzte Lehre wurden nicht nur die Motivation, sondern auch der objektive
Lernerfolg von Studierenden gemessen, die unterschiedlichen Lernszenarien zugeordnet waren. Dies
erlaubt eine objektive positive Bewertung der Effizienz der im Rahmen dieser Dissertation entstande-
nen Lehrmodule.
IV
K

department after finishing their task — it seems that they had enjoyed it; Sonja Meyer, Timo M¨uller,
Andreas Prassas, Julia Schneider, and Tillmann Schulz helped me to explore different aspects of signal
processing, even if not all of their work was related to the presented topic. I owe appreciation to my
diploma students Florian B ¨omers, Uwe Bosecker, Holger F ¨ußler, and Alexander Holzinger for their
thorough exploration of and work on facets of the wavelet theory which fit well into the overall picture
VI
A
FEW WORDS
...
of the presented work. They all contributed to my dissertation with their questions and encouragement,
with their implementations and suggestions.
The project VIROR permitted me to get in contact with the department Erziehungswissenschaft II of
the University of Mannheim. I appreciated this interdisciplinary cooperation especially on a personal
level, and it most probably is this climate on a personal niveau which allowed us to cooperate so well
scientifically. Here I want to especially thank Holger Horz, and I wish him all the best for his own
dissertation project.
In some periods of the formation process of this work, I needed encouraging words more than techni-
cal input. Therefore, I want to express my gratitude to my parents, my sister, and my friends for their
trust in my abilities and their appeals to my self–assertiveness. My mother, who always reminded me
that there is more to life than work, and my father, who exemplified how to question the circumstances
and to believe that rules need not always be unchangeable. That the presented work was started, let
alone pushed through and completed, is due to Peter Kappelmann, who gives me so much more than
a simple life companionship. He makes my life colorful and exciting. This work is dedicated to him.
Claudia Schremmer
Ein paar Worte. . .
...des Dankes stehen ¨ublicherweise an dieser Stelle. Und auch ich m¨ochte all denen, die mir in
irgendeiner Weise bei der Erstellung dieser Arbeit behilflich waren, meine Verbundenheit ausdr¨ucken.
Die vorliegende Arbeit entstand w¨ahrend meiner T¨atigkeit als wissenschaftliche Mitarbeiterin
in Teleteaching–Projekt VIROR und am Lehrstuhl f¨ur Praktische Informatik IV der Universit¨at
Mannheim, an den mich Herr Prof. Dr. Wolfgang Effelsberg in seine Forschungsgruppe zu Multi-

VIII
E
IN PAAR
W
ORTE
...
nen Spaß gemacht zu haben; Sonja Meyer, Timo M ¨uller, Andreas Prassas, Julia Schneider und Till-
mann Schulz, die mir geholfen haben, unterschiedliche Aspekte der Signalverarbeitung zu explori-
eren, selbst wenn nicht alle Arbeiten mit der hier vorgestellten Thematik verbunden waren. Meinen
Diplomarbeitern Florian B¨omers, Uwe Bosecker, Holger F¨ußler und Alexander Holzinger geh¨ort ein
herzliches Dankesch¨on f¨ur ihre gr¨undliche Einarbeitung in und Aufarbeitung von Teilaspekten der
Wavelet Theorie, die zusammen sich in das Gesamtbild der vorliegenden Arbeit f¨ugen. Sie alle haben
mit ihren Fragen und Anregungen, mit ihren Programmiert¨atigkeiten und Vorschl¨agen zum Gelingen
dieser Arbeit beigetragen.
Durch das Projekt VIROR habe ich Kontakt kn¨upfen d¨urfen zum Lehrstuhl f¨ur Erziehungswis-
senschaft II der Universit¨at Mannheim. Diese interdisziplin¨are Zusammenarbeit hat vor allem auf
dem pers¨onlichen Niveau sehr viel Spaß gemacht, und vermutlich war es auch das pers¨onlich gute
Klima, das uns hat wissenschaftlich so gut kooperieren lassen. An dieser Stelle spreche ich Holger
Horz meinen ausdr¨ucklichen Dank aus und w ¨unsche ihm alles Gute bei seinem eigenen Dissertation-
sprojekt.
An einigen Punkten in der Entstehungsgeschichte dieser Arbeit habe ich aufmunternde Worte mehr
gebraucht als fachlichen Input. Darum m¨ochte ich an dieser Stelle meinen Eltern, meiner Schwester
und meinen Freunden Dank sagen f¨ur das Zutrauen in meine F¨ahigkeiten und den Appell an mein
Durchsetzungsverm¨ogen. Meine Mutter, die mich stets daran erinnert hat, daß es mehr gibt als
Arbeit, mein Vater, der mir als ‘Freigeist’ vorgelebt hat, Dinge zu hinterfragen und nicht an ein
unver¨anderbares Regelwerk zu glauben. Daß die vorliegende Arbeit aber ¨uberhaupt begonnen,
geschweige denn durch– und zu Ende gef¨uhrt wurde, liegt an Peter Kappelmann, der mir so viel
mehr gibt als eine einfache Lebensgemeinschaft. Er macht mein Leben bunt und aufregend. Ihm ist
diese Arbeit gewidmet.
Claudia Schremmer

2.2.1 Ideal Low–pass Filter .............................. 32
2.2.2 Ideal High–pass Filter ............................. 33
2.3 Two–Channel Filter Bank . . .............................. 35
2.4 Design of Analysis and Synthesis Filters ........................ 37
2.4.1 Quadrature–Mirror–Filter (QMF) ....................... 39
2.4.2 Conjugate–Quadrature–Filter(CQF)...................... 39
3 Practical Considerations for the Use of Wavelets 41
3.1 Introduction ....................................... 41
3.2 Wavelets in Multiple Dimensions ............................ 41
3.2.1 Nonseparability . . . .............................. 42
3.2.2 Separability ................................... 42
3.3 Signal Boundary . ................................... 45
3.3.1 CircularConvolution.............................. 45
3.3.2 PaddingPolicies ................................ 46
3.3.3 IterationBehavior ............................... 47
3.4 ‘Painting’ the Time–scale Domain . . . ........................ 47
3.4.1 Normalization ................................. 48
TABLE OF CONTENTS
XI
3.4.2 GrowingSpatialRagewithPadding ...................... 49
3.5 Representation of ‘Synthesis–in–progress’ ....................... 50
3.6 Lifting . ......................................... 52
II Application of Wavelets in Multimedia 57
4 Multimedia Fundamentals 59
4.1 Introduction ....................................... 59
4.2 Data Compression . ................................... 60
4.3 Nyquist Sampling Rate . . . .............................. 62
5 Digital Audio Denoising 65
5.1 Introduction ....................................... 65
5.2 StandardDenoisingTechniques ............................ 66

6.4.3 Qualitative Remarks .............................. 114
7 Hierarchical Video Coding 115
7.1 Introduction ....................................... 115
7.2 VideoScalingTechniques................................ 116
7.2.1 TemporalScaling................................ 118
7.2.2 SpatialScaling ................................. 118
7.3 Quality Metrics for Video . . .............................. 119
7.3.1 VisionModels ................................. 119
7.3.2 Video Metrics .................................. 120
7.4 EmpiricalEvaluationofHierarchicalVideoCodingSchemes............. 121
7.4.1 Implementation................................. 121
7.4.2 ExperimentalSetup............................... 122
7.4.3 Results ..................................... 125
TABLE OF CONTENTS
XIII
7.4.4 Conclusion ................................... 126
7.5 LayeredWaveletCodingPolicies............................ 127
7.5.1 LayeringPolicies................................ 127
7.5.2 TestSetup.................................... 129
7.5.3 Results ..................................... 130
7.5.4 Conclusion ................................... 133
7.6 Hierarchical Video Coding with Motion–JPEG2000 .................. 134
7.6.1 Implementation................................. 135
7.6.2 ExperimentalSetup............................... 136
7.6.3 Results ..................................... 137
7.6.4 Conclusion ................................... 138
III Interactive Learning Tools for Signal Processing Algorithms 141
8 Didactic Concept 143
8.1 Introduction ....................................... 143
8.2 TheLearningCycleinDistanceEducation....................... 144

10.2TestSetup........................................ 166
10.2.1 Learning Setting . . .............................. 166
10.2.2 Hypotheses ................................... 168
10.3Results.......................................... 169
10.3.1 DescriptiveStatistics .............................. 170
10.3.2 AnalysisofVariance .............................. 172
11 Conclusion and Outlook 179
TABLE OF CONTENTS
XV
IV Appendix 181
A Original Documents of the Evaluation 183
A.1 Computer–based Learning Setting . . . ........................ 183
A.1.1 Setting: Exploration .............................. 184
A.1.2 Setting: Script ................................. 185
A.1.3 Setting:
¬
–Version ............................... 188
A.1.4 Setting: c’t–Article ............................... 189
A.2 KnowledgeTests .................................... 191
A.2.1 PreliminaryTest ................................ 191
A.2.2 Follow–upTest................................. 193
A.2.3 SampleSolutions................................ 198
A.3 QuotationsoftheStudents ............................... 200
XVI
TABLE OF CONTENTS
List of Figures
1.1 Samplewavelets .................................... 12
1.2 The Mexican hat wavelet and two of its dilates and translates, including the normal-
izationfactor ...................................... 13
1.3 Time–frequency resolution of the short–time Fourier transform and the wavelet trans-

6.3 Exampleforsemiautomaticsegmentation ....................... 86
6.4 Test images for the empirical evaluation of the different segmentation algorithms . . 87
6.5 Impactofdifferentwaveletfilterbanksonvisualperception.............. 94
6.6 Impact of different decomposition strategies on visual perception ........... 95
6.7 Testimagesfortheempiricalparameterevaluation .................. 97
6.8 Test images with threshold
 ½¼
in the time–scale domain . ............. 98
6.9 Test images with threshold
 ¾¼
in the time–scale domain . ............. 99
6.10 Test images with threshold
 
in the time–scale domain . ............. 100
6.11 Test images with threshold
 
in the time–scale domain . ............. 101
6.12 Average visual quality of the test images at the quantization thresholds
 
½¼ ¾¼  
...................................... 104
6.13 Average bit rate heuristic of the test images at the quantization thresholds
 
½¼ ¾¼  
...................................... 105
6.14 Mean visual quality of the test images at the quantization thresholds
 ½¼ ¾¼  
with standard versus nonstandard decomposition ................... 107
6.15 Classification according to image content ....................... 111
6.16 Classification according to visual perception of distance . . . ............. 112

A.1 c’t–Article ........................................ 190
XX
LIST OF FIGURES
List of Tables
1.1 Relations between signals and spaces in multiscale analysis . ............. 24
3.1 The number of possible iterations on the approximation part depends on the selected
waveletfilterbank.................................... 47
3.2 The size of the time–scale domain with padding depends on the selected wavelet filter
bank........................................... 49
3.3 Filter coefficients of the two default wavelet filter banks of JPEG2000 . ....... 55
4.1 Classification of compression algorithms ........................ 62
5.1 Evaluation of the wavelet denoiser for dnbloop.wav ................ 79
6.1 Experimental results for three different segmentation algorithms ........... 88
6.2 Experimentalresults:summaryofthefourtestimages ................ 88
6.3 Detailed results of the quality evaluation with the PSNR for the six test images . . . 102
6.4 Heuristic for the compression rate of the coding parameters of Table 6.3 ....... 103
6.5 Average quality of the six test images . ........................ 104
6.6 Averagebitrateheuristicofthesixtestimages .................... 105
6.7 Detailed results of the quality evaluation for the standard versus the nonstandard de-
composition strategy .................................. 106
6.8 Average quality of the six test images in the comparison of standard versus nonstan-
dard decomposition ................................... 107
6.9 Structure of the JPEG2000 standard . . ........................ 108
7.1 Test sequences for hypothesis
À
½¼
........................... 125