A First Course in Linear Algebra

A First Course in Linear Algebra
by
Robert A. Beezer
Department of Mathematics and Computer Science
University of Puget Sound
Waldron Edition
Version 2.00 Content
July 16, 2008
Robert A. Beezer is a Professor of Mathematics at the University of Puget Sound, where he has been on the faculty
since 1984. He received a B.S. in Mathematics (with an Emphasis in Computer Science) from the University of
Santa Clara in 1978, a M.S. in Statistics from the University of Illinois at Urbana-Champaign in 1982 and a Ph.D.
in Mathematics from the University of Illinois at Urbana-Champaign in 1984. He teaches calculus, linear algebra
and abstract algebra regularly, while his research interests include the applications of linear algebra to graph theory.
His professional website is at http://buzzard.ups.edu.
Edition
Waldron Edition, July 16, 2008.
Based on Version 2.00.
Front Cover
“The Summer Chair”
c
 2008 by David R.D. Beezer. GNU Free Documentation License.
Gentium Font, SIL Open Font License.
Back Cover
Author photo by Ross Mulhausen.
Computer Modern Font, Public Domain.
Publisher
Robert A. Beezer
Department of Mathematics and Computer Science
University of Puget Sound

SSLE Solving Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
PSS Possibilities for Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
ESEO Equivalent Systems and Equation Operations . . . . . . . . . . . . . . . . . . . . . . . . . 13
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
MVNSE Matrix and Vector Notation for Systems of Equations . . . . . . . . . . . . . . . . . . . 23
RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
TSS Types of Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
CS Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
FV Free Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
vii
viii CONTENTS
HSE Homogeneous Systems of Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
SHS Solutions of Homogeneous Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
LDS Linear Dependence and Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
LDSS Linearly Dependent Sets and Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
COV Casting Out Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
O Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
CAV Complex Arithmetic and Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
IP Inner products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
N Norm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
V Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
Chapter M Matrices 169
CONTENTS ix
MO Matrix Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
MEASM Matrix Equality, Addition, Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . 169
VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
TSM Transposes and Symmetric Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
MCC Matrices and Complex Conjugation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
AM Adjoint of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

LNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
CRS Computing Column Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
EEF Extended echelon form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
M Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
Chapter VS Vector Spaces 261
VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
EVS Examples of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
RD Recycling Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
S Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
x CONTENTS
TS Testing Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
TSS The Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
SC Subspace Constructions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
LISS Linear Independence and Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
VR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295

DD Definition of the Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
CD Computing Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
PDM Properties of Determinants of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
DRO Determinants and Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
DROEM Determinants, Row Operations, Elementary Matrices . . . . . . . . . . . . . . . . . . . 359
DNMMM Determinants, Nonsingular Matrices, Matrix Multiplication . . . . . . . . . . . . . . . 360
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
D Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
Chapter E Eigenvalues 367
EE Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
EEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
CONTENTS xi
PM Polynomials and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
EEE Existence of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
CEE Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
ECEE Examples of Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . 376
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384
PEE Properties of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
ME Multiplicities of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
EHM Eigenvalues of Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397

ESLT Examples of Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 453
RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456
SSSLT Spanning Sets and Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . 460
SLTD Surjective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . . . . . . 462
CSLT Composition of Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . 462
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466
IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
IV Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
SI Structure and Isomorphism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
RNLT Rank and Nullity of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . 476
SLELT Systems of Linear Equations and Linear Transformations . . . . . . . . . . . . . . . . . . 479
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480
xii CONTENTS
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483
LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487
Chapter R Representations 489
VR Vector Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489
CVS Characterization of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
CP Coordinatization Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 498
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499
MR Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501
NRFO New Representations from Old . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506
PMR Properties of Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510
IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 514

MMA Mathematica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613
ME.MMA Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613
RR.MMA Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613
LS.MMA Linear Solve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613
VLC.MMA Vector Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614
NS.MMA Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614
VFSS.MMA Vector Form of Solution Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615
GSP.MMA Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616
TM.MMA Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616
MM.MMA Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616
MI.MMA Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
SAGE SAGE: Open Source Mathematics Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
R.SAGE Rings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
CONTENTS xiii
ME.SAGE Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
MI.SAGE Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618
TM.SAGE Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618
E.SAGE Eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618
Appendix P Preliminaries 621
CNO Complex Number Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621
CNA Arithmetic with complex numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621
CCN Conjugates of Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623
MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624
SET Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
SC Set Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626
SO Set Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626
PT Proof Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629
D Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629
T Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629
L Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 630

P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693
Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695
R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 698
S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701
T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703
U . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705
V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707
W . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709
X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 711
Appendix GFDL GNU Free Documentation License 715
xiv CONTENTS
1. APPLICABILITY AND DEFINITIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 715
2. VERBATIM COPYING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716
3. COPYING IN QUANTITY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716
4. MODIFICATIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717
5. COMBINING DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718
6. COLLECTIONS OF DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718
7. AGGREGATION WITH INDEPENDENT WORKS . . . . . . . . . . . . . . . . . . . . . . . . . . 718
8. TRANSLATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718
9. TERMINATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718
10. FUTURE REVISIONS OF THIS LICENSE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 719
ADDENDUM: How to use this License for your documents . . . . . . . . . . . . . . . . . . . . . . . . 719
Index
Contributors
Beezer, David. Belarmine Preparatory School, Tacoma
Beezer, Robert. University of Puget Sound http://buzzard.ups.edu/
Bucht, Sara. University of Puget Sound
Canfield, Steve. University of Puget Sound
Hubert, Dupont. Cr´eteil, France
Fellez, Sarah. University of Puget Sound

RR Row-Reducing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
Section TSS
CS Consistent System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
IDV Independent and Dependent Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Section HSE
HS Homogeneous System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
TSHSE Trivial Solution to Homogeneous Systems of Equations . . . . . . . . . . . . . . . . . . . . . . 57
NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Section NM
SQM Square Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
NM Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
IM Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Section VO
VSCV Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
CVE Column Vector Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
CVA Column Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
CVSM Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
Section LC
LCCV Linear Combination of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Section SS
SSCV Span of a Set of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
xvii
xviii DEFINITIONS
Section LI
RLDCV Relation of Linear Dependence for Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . 123
LICV Linear Independence of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
Section LDS
Section O
CCCV Complex Conjugate of a Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
IP Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

VS Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
Section S
S Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
TS Trivial Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
LC Linear Combination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
SS Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
Section LISS
RLD Relation of Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
TSVS To Span a Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
DEFINITIONS xix
Section B
B Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
Section D
D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
NOM Nullity Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
ROM Rank Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
Section PD
DS Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
Section DM
ELEM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
SM SubMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
Section PDM
Section EE
EEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
CP Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
EM Eigenspace of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
AME Algebraic Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
GME Geometric Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376

CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 530
Section OD
UTM Upper Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553
LTM Lower Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553
NRML Normal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557
Section NLT
NLT Nilpotent Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561
JB Jordan Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563
Section IS
IS Invariant Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577
GEV Generalized Eigenvector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580
GES Generalized Eigenspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580
LTR Linear Transformation Restriction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 584
IE Index of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 588
Section JCF
JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 598
Section CNO
CNE Complex Number Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622
CNA Complex Number Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622
CNM Complex Number Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622
CCN Conjugate of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623
MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624
Section SET
SET Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
SSET Subset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
ES Empty Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
SE Set Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
C Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626
SU Set Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626
SI Set Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627

PSPHS Particular Solution Plus Homogeneous Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . 100
Section SS
SSNS Spanning Sets for Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Section LI
LIVHS Linearly Independent Vectors and Homogeneous Systems . . . . . . . . . . . . . . . . . . . . . 125
LIVRN Linearly Independent Vectors, r and n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
MVSLD More Vectors than Size implies Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . 127
NMLIC Nonsingular Matrices have Linearly Independent Columns . . . . . . . . . . . . . . . . . . . . 128
NME2 Nonsingular Matrix Equivalences, Round 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
BNS Basis for Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
xxi
xxii THEOREMS
Section LDS
DLDS Dependency in Linearly Dependent Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
BS Basis of a Span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
Section O
CRVA Conjugation Respects Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
CRSM Conjugation Respects Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . 153
IPVA Inner Product and Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
IPSM Inner Product and Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
IPAC Inner Product is Anti-Commutative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
IPN Inner Products and Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
PIP Positive Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
OSLI Orthogonal Sets are Linearly Independent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
Section MO
VSPM Vector Space Properties of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
SMS Symmetric Matrices are Square . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
TMA Transpose and Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
TMSM Transpose and Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

MISM Matrix Inverse of a Scalar Multiple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
Section MINM
NPNT Nonsingular Product has Nonsingular Terms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
OSIS One-Sided Inverse is Sufficient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
NI Nonsingularity is Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
THEOREMS xxiii
NME3 Nonsingular Matrix Equivalences, Round 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
SNCM Solution with Nonsingular Coefficient Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
UMI Unitary Matrices are Invertible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
CUMOS Columns of Unitary Matrices are Orthonormal Sets . . . . . . . . . . . . . . . . . . . . . . . . 212
UMPIP Unitary Matrices Preserve Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
Section CRS
CSCS Column Spaces and Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
BCS Basis of the Column Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
NME4 Nonsingular Matrix Equivalences, Round 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
REMRS Row-Equivalent Matrices have equal Row Spaces . . . . . . . . . . . . . . . . . . . . . . . . . 226
BRS Basis for the Row Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
CSRST Column Space, Row Space, Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
Section FS
PEEF Properties of Extended Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
Section VS
ZVU Zero Vector is Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
AIU Additive Inverses are Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
ZSSM Zero Scalar in Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
ZVSM Zero Vector in Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
AISM Additive Inverses from Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
SMEZV Scalar Multiplication Equals the Zero Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
Section S

Section PD
ELIS Extending Linearly Independent Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
xxiv THEOREMS
G Goldilocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
PSSD Proper Subspaces have Smaller Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
EDYES Equal Dimensions Yields Equal Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
RMRT Rank of a Matrix is the Rank of the Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
DFS Dimensions of Four Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
DSFB Direct Sum From a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
DSFOS Direct Sum From One Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
DSZV Direct Sums and Zero Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
DSZI Direct Sums and Zero Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
DSLI Direct Sums and Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
DSD Direct Sums and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
RDS Repeated Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
Section DM
EMDRO Elementary Matrices Do Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
EMN Elementary Matrices are Nonsingular . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
NMPEM Nonsingular Matrices are Products of Elementary Matrices . . . . . . . . . . . . . . . . . . . . 346
DMST Determinant of Matrices of Size Two . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
DER Determinant Expansion about Rows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
DT Determinant of the Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
DEC Determinant Expansion about Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
Section PDM
DZRC Determinant with Zero Row or Column . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
DRCS Determinant for Row or Column Swap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
DRCM Determinant for Row or Column Multiples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
DERC Determinant with Equal Rows or Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
DRCMA Determinant for Row or Column Multiples and Addition . . . . . . . . . . . . . . . . . . . . . 357
DIM Determinant of the Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359

DC Diagonalization Characterization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
DMFE Diagonalizable Matrices have Full Eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
DED Distinct Eigenvalues implies Diagonalizable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406
Section LT
LTTZZ Linear Transformations Take Zero to Zero . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420
MBLT Matrices Build Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
MLTCV Matrix of a Linear Transformation, Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . 424
LTLC Linear Transformations and Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . 425
LTDB Linear Transformation Defined on a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426
SLTLT Sum of Linear Transformations is a Linear Transformation . . . . . . . . . . . . . . . . . . . . 430
MLTLT Multiple of a Linear Transformation is a Linear Transformation . . . . . . . . . . . . . . . . . 431
VSLT Vector Space of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432
CLTLT Composition of Linear Transformations is a Linear Transformation . . . . . . . . . . . . . . . 432
Section ILT
KLTS Kernel of a Linear Transformation is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . 443
KPI Kernel and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
KILT Kernel of an Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
ILTLI Injective Linear Transformations and Linear Independence . . . . . . . . . . . . . . . . . . . . 446
ILTB Injective Linear Transformations and Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
ILTD Injective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . 447
CILTI Composition of Injective Linear Transformations is Injective . . . . . . . . . . . . . . . . . . . 448
Section SLT
RLTS Range of a Linear Transformation is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . 457
RSLT Range of a Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459
SSRLT Spanning Set for Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . 460
RPI Range and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461
SLTB Surjective Linear Transformations and Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461
SLTD Surjective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . 462
CSLTS Composition of Surjective Linear Transformations is Surjective . . . . . . . . . . . . . . . . . . 462
Section IVLT