Brown nose. MIT also fails to hire anyone with brown skin and will blow out of proportion any work conducted by white old guys. Unbelievable.

You are right. For a picture see en.wikipedia.org/wiki/Singular_value_decomposition#/media/File:Singular-Value-Decomposition.svg

His drawing isn't necessarily wrong, if for instance the vectors in V happen to be the unit vectors

I think it turns out that this is not actually used, so no need to lose sleep over it, I guess...

@@allyourcode You're mistaken. It is not only used but it's crucial for this to work. The fact that the eigenvalues are the same is what enables to have the same Sigma matrix for both of the matrices, AA' and A'A. If that was not the case, well, the technique would lead us astray.

In a previous lecture, professor mentioned that eigenvalues of AB and BA (similar matrixes) are the same. If we consider A' as B and A as A, then A'A and AA' should have the same eigenvalues.

P.S.: In the picture at 32:35, the u_1 and u_2 should be a_1 and a_2, after applying the rotation U.

You need to do the steps in sequence. Yes, if you consider the operations from left to right you get mixed scaling and rotation. But considered from right to left, it's a (pure) rotation, a (pure) scaling) and a final rotation.

for 3d rotation we need roll,pitch, and yaw; you can specify zenith with pitch, azimuth with yaw, so we need roll parameter too.

You can think of it as 3 combination 2, which gives 3. Two directions combine to form a single rotation from the one vector to the other. So, the number of angles is D combination 2, where D is the dimension of your space. Four dimensions will thus require 6 angles, etc.

I think 2 angles are enough to specify the direction. Another parameter to specify the magnitude. I'm not a native speaker of English and didn't understand what they meant by roll, pitch and yaw physics.stackexchange.com/questions/175354/why-are-three-parameters-required-to-express-rotation-in-3-dimension

projections are square matrices at the first place I guess.

i think he sayed it,becaurce v's belong to V^t(V ist transposed) ,so v^t belongs to V and v^t are rows

I was going to respond the same thing. I believe that's correct. The general argument, however, still holds.

that is why he writes positive or equal to 0.

Yes I think you are right.

When transposed they are not the same. They are orthonormal which means when multiplication happens - UU' or VV' - the outcome is an identity matrix in the correct space (m-by-m or n-by-n).

The materials for the course are available on MIT OpenCourseWare at: ocw.mit.edu/18-065S18. Best wishes on your studies!

Prof Strang's notes were turned into his most recent book -- visit the OCW course site for links and the Reading section for guidance on what chapters go with the lectures: ocw.mit.edu/18-065S18.

To be fair the stress MIT students go through their undergrad/grad careers is inconceivable. Though it's incredible how much you learn even in one lecture at this school, let alone an entire 4 years

@@dectorey7233 lol I know, I have friends that are going there. The summer programs I did there were tough too.

I think he is referring to a square matrix A in that case

Polar decomosition

@What could go wrong? - Niagara edition Ah, that makes sense. Thanks for your explain!

Can you please share your proof with us? That would be awesome. Thank you!

​@@dariuszspiewak5624 Hi. I'm going to paste what I've written in my notes. The non-mathematic notation is in Portuguese (my native language), but I think Google Translate will probably do a good job. In any case, I haven't been peer-reviewed, so I cannot guarantee the accuracy of this proof. [Teorema] Se A é mxn e Rank(A) = r -> A = UΣVᵀ, onde: Vᵀ nxn é ortogonal e tem em suas primeiras r linhas os autovetores unitários de AᵀA para os quais os autovalores são maiores que zero, e nas restantes n-r linhas os autovetores unitários de AᵀA para os quais os autovalores são exatamente zero. As primeiras r linhas de Vᵀ são uma base para C(Aᵀ), e as restantes n-r linhas de Vᵀ são uma base para N(A). Σ mxn é diagonal mxn (retangular se m≠n) e tem em suas primeiras r entradas diagonais a raiz quadrada dos autovalores de AᵀA maiores que zero (que são os mesmos autovalores maiores que zero de AAᵀ), ordenados de acordo com as linhas de Vᵀ, e todas as outras entradas são 0. U mxm é ortogonal e a i-ésima de suas primeiras r colunas são Avᵢ->/σᵢ, onde σᵢ = √λᵢ (λᵢ = autovalor de vᵢ->), sendo que essas r colunas formam uma base para C(A), e as restantes m-r colunas formam qualquer base ortonormal para N(Aᵀ). E também é o caso que nas primeiras r colunas de U estão os autovetores unitários de AAᵀ para os quais os autovalores são maiores que zero, e nas restantes m-r colunas de U estão os autovetores unitários de AAᵀ para os quais os autovalores são exatamente zero. [Prova]: Considere A mxn (pode ser m≠n), com Rank(A) = r (r pode ser qualquer valor). Recapitulação básica: Sabemos que o espaço colunar C(A) e o espaço nulo à esquerda N(Aᵀ) ∈ ℝᵐ, e o espaço de linha C(Aᵀ) e o espaço nulo N(A) ∈ ℝⁿ. Sabemos que a dimensão tanto de C(A) quanto de C(Aᵀ) é r. Chame {v₁->, v₂->, ..., vᵣ->} os autovetores ortonormais de AᵀA cujos autovalores são maiores que 0, e {vᵣ₊₁->, vᵣ₊₂->, ..., vₙ->} os autovetores ortonormais de AᵀA cujos autovalores são exatamente 0. Esses conjuntos sempre precisam existir, pois: AᵀA nxn é simétrica, e portanto tem decomposição espectral QoΛQo⁻¹, o que faz seus n autovetores serem ortogonais. Normalizando esses n autovetores, obtemos um conjunto ortonormal. AᵀA é positiva semidefinida, portanto seus autovalores são maiores ou iguais a zero. Como Rank(AᵀA) = Rank(A) = r, segue-se, pelo Teorema da Nulidade, que dim(N(AᵀA)) = n-r, e portanto, por Gram-Schmidt, pode-se achar uma base ortonormal de n-r vetores para N(AᵀA). E como sabemos, cada vetor linearmente independente em um espaço nulo de uma matriz é um autovetor da matriz com autovalor igual a zero. Então existem pelo menos n-r autovetores ortonormais em AᵀA com autovalor igual a zero. Na verdade, existem _exatamente_ n-r autovetores ortonormais em AᵀA com autovalor igual a zero, pois se houvesse mais um autovetor ortornormal em AᵀA com autovalor igual a zero, então a dim(N(AᵀA)) seria maior que n-r. Então o conjunto {vᵣ₊₁->, vᵣ₊₂->, ..., vₙ->} sempre pode ser obtido. O conjunto {v₁->, v₂->, ..., vᵣ->} é obtido simplesmente selecionando-se os autovetores ortogonais em AᵀA cujos autovalores são maiores que zero. Eles sempre precisam existir, pois todos os autovetores em AᵀA com autovalor igual a zero estão no outro conjunto, e os autovalores de AᵀA são ou zero ou um número maior que zero. Como vimos, {vᵣ₊₁->, vᵣ₊₂->, ..., vₙ->} é uma base para N(AᵀA). E como já provado, N(AᵀA) = N(A). Como já provado: Se V ∈ ℝⁿ e dim(V) = r -> [(V⟂ é um subespaço ortogonal a V) & (dim(V⟂) = n-r) V⟂ é o complemento ortogonal de V] O subespaço spannado por {v₁->, v₂->, ..., vᵣ->} ∈ ℝⁿ e tem dimensão r, e o subespaço spannado por {vᵣ₊₁->, vᵣ₊₂->, ..., vₙ->}, que é N(A), é ortogonal e ele e tem dimensão n-r. Portanto o subespaço spannado por {v₁->, v₂->, ..., vᵣ->} é o complemento ortogonal de N(A), que como sabemos é C(Aᵀ). Então veja que {v₁->, v₂->, ..., vᵣ->} é um conjunto ortonormal que é uma base para C(Aᵀ), enquanto {vᵣ₊₁->, vᵣ₊₂->, ..., vₙ->} é um conjunto ortonormal que é uma base para N(A). Chame {u₁->, u₂->, ..., uᵣ->} o conjunto de vetores tais que u₁-> = Av₁->/σ₁, u₂-> = Av₂->/σ₂, ..., uᵣ-> = Avᵣ->/σᵣ, onde σᵢ = √λᵢ Esses vetores sempre precisam existir, pois λ₁, λ₂, ..., λᵣ são maiores que zero. Vamos provar que {u₁->, u₂->, ..., uᵣ->} são ortogonais: Para i≠j: uᵢ->ᵀuⱼ-> = (Avᵢ->/σᵢ)ᵀ(Avⱼ->/σⱼ) uᵢ->ᵀuⱼ-> = (1/(σᵢσⱼ))vᵢ->ᵀAᵀAvⱼ-> Como vⱼ-> é um autovetor de AᵀA, segue-se que AᵀAvⱼ-> = σⱼ²vⱼ->. Substituindo: uᵢ->ᵀuⱼ-> = (1/(σᵢσⱼ))vᵢ->ᵀσⱼ²vⱼ-> uᵢ->ᵀuⱼ-> = (σⱼ²/(σᵢσⱼ))vᵢ->ᵀvⱼ-> Como os vᵢ->'s são ortonormais, vᵢ->ᵀvⱼ-> = 0. Substituindo: uᵢ->ᵀuⱼ-> = (σⱼ²/(σᵢσⱼ))*0 uᵢ->ᵀuⱼ-> = 0 Vamos provar que {u₁->, u₂->, ..., uᵣ->} são unitários: ||uᵢ->|| = √(uᵢ->ᵀuᵢ->) ||uᵢ->|| = √((Avᵢ->/σᵢ)ᵀ(Avᵢ->/σᵢ)) ||uᵢ->|| = √((1/(σᵢσᵢ))vᵢ->ᵀAᵀAvᵢ->) Como vᵢ-> é um autovetor de AᵀA, segue-se que AᵀAvᵢ-> = σᵢ²vᵢ->. Substituindo: ||uᵢ->|| = √((1/(σᵢσᵢ))vᵢ->ᵀσᵢ²vᵢ->) ||uᵢ->|| = √((σᵢ²/(σᵢσᵢ))vᵢ->ᵀvᵢ->) Como os vᵢ->'s são ortonormais, vᵢ->ᵀvᵢ-> = 1. Substituindo: ||uᵢ->|| = √((σᵢ²/(σᵢσᵢ))*1) Simplificando: ||uᵢ->|| = √1 ||uᵢ->|| = 1 Portanto o conjunto {u₁->, u₂->, ..., uᵣ->} é ortonormal. Porque eles foram definidos como uᵢ-> = (Avᵢ->/σᵢ), segue-se que todos eles pertencem a C(A), pois são simplesmente combinações lineares das colunas de A. Como Rank(A) = r, então esses r vetores {u₁->, u₂->, ..., uᵣ->}, que são linearmente independentes (pois são ortogonais entre si), precisam ser uma base para C(A). Chame {uᵣ₊₁->, uᵣ₊₂->, ..., uₘ->} uma base ortonormal para N(Aᵀ). Sempre é possível achar essa base ortonormal por Gram-Schmidt. Chame V = [v₁-> v₂-> ... vₙ->]. Veja que V é ortogonal. Chame U = [u₁-> u₂-> ... uₘ->]. Veja que U é ortogonal. Chame Σ = matriz mxn cujas primeiras r entradas diagonais serão {σ₁, σ₂, ..., σᵣ}, e todas as outras entradas (diagonais e não-diagonais) serão 0. Note que Σ é diagonal (retangular se m≠n). Vamos explicar por que a seguinte igualdade é verdadeira: AV = UΣ Primeiro, vamos analisar AV. Sabemos que a i-ésima coluna de AV é simplesmente Avᵢ->. Para as primeiras r colunas de AV, a i-ésima coluna será, como definimos acima, σᵢuᵢ->, pois uᵢ-> = Avᵢ->/σᵢ. Todas as restantes n-r colunas serão 0->, uma vez que Avᵣ₊₁-> = 0->, ..., Avₙ-> = 0->, pois esses vetores formam uma base para N(A). Logo, AV = [σ₁u₁-> σ₂u₂-> ... σᵣuᵣ-> 0-> 0-> ... 0->], onde a quantidade de 0->'s é n-r. Note que AV é mxn, pois A é mxn e V é nxn. Agora, vamos analisar UΣ. Esta também será uma matriz mxn, pois U é mxm e Σ é mxn. Porque Σ é diagonal com r entradas diagonais não-zero e n-r entradas diagonais zero, temos o seguinte: O primeiro vetor colunar de Σ é , o segundo vetor colunar é , o r-ésimo vetor colunar é (na r-ésima posição), e todos os outros n-r vetores colunares são 0->. Portanto segue-se que UΣ será [σ₁u₁-> σ₂u₂-> ... σᵣuᵣ-> 0-> 0-> ... 0->] Logo, AV = UΣ. Como V é ortogonal, seu inverso é Vᵀ. Pós-multiplicando ambos os lados por Vᵀ: A = UΣVᵀ Logo, toda matriz tem decomposição por valores singulares. Vamos ver o que é AAᵀ: AAᵀ = UΣVᵀVΣᵀUᵀ Porque V é ortogonal, VᵀV = I. Substituindo: AAᵀ = UΣΣᵀUᵀ Como já provado, porque Σ é uma matriz diagonal mxn, ΣΣᵀ precisa ser mxm diagonal, e como Σ estava estruturado de forma que suas primeiras r entradas diagonais eram maiores que zero e as restantes são exatamente zero, segue-se que as primeiras r entradas diagonais de ΣΣᵀ são maiores que zero e as restantes são exatamente zero. Chame D := ΣΣᵀ. Substituindo: AAᵀ = UDUᵀ Porque U é ortogonal, Uᵀ = U⁻¹. Substituindo: AAᵀ = UDU⁻¹ Veja que o LDE é a diagonalização de AAᵀ. Como já provado, precisa ser o caso que os vetores em U são autovetores de AAᵀ. Mais especificamente, nas primeiras r colunas de U estão os autovetores unitários de AAᵀ para os quais os autovalores são maiores que zero, e nas restantes m-r colunas de U estão os autovetores unitários de AAᵀ para os quais os autovalores são exatamente zero.

I think it is correct to write σ_i*u_i not just u_i. U is just the rotation, so σ_i should remain there.

i think the structure of Sigma tells that.

Here's how I understand it. They are connected to the column and row spaces by the fact that they constitute bases for those spaces, which in turn means there are r of them (rank of the matrix) and they are orthogonal (within each basis, that is to say, because the row space and column space generally belong to two different spaces if the matrix is not square). They are not columns or rows from the matrix itself. They can be constructed from the matrix (especially the basis for the row space), though, by the Gram-Schmidt process. I still need to confirm how the ortho-basis for the column space comes into life... By the way, it just so happens (miraculously) that the U and V matrices that store orthonormal vectors contain the eigenvectors of A'A and AA'. It's just a strange and beautiful fact. Additionally, the sigma matrix is built from the square roots of the eigenvalues which all happen to be real non-negative for the symmetric matrices A'A and AA'. Obviously, since the entries in U and V are eigenvectors belonging to the row/column-spaces, they definitely are linear combinations of the rows/columns (and there are r of them). Is that clearer?

Those v's are just eigenvectors of A^TA. Then we have A^TA v = ∂^2 v.

Just come from AX=§X.

1. Start with Ax = ∂ x and keep the transpose x^T A^T= x^T ∂ ready 2. Multiply A^T both sides thus, A^T Ax = A^T ∂ x 3. Multiply x^T both sides thus, x^T A^T Ax = x^T A^T ∂ x 4. Replace x^T A^T with x^T ∂ 5. Thus, x^T(A^T A)x =x^T (∂ ^2 ) x So you believe (∂ ^2 ) are the eigenvalues of A^T A, so are the sigma^2

actually it refers to the symmetry matrix, so he simply ignore the negative value because symmetry matrix has eigen of positive semi definiteness, and the orthogonal matrix here refers to the eigen matrix.

Matías Sandacz Hi, I think he was only talking about (semi-) definite matrices in which case Prof Strang was right.

​@@imrematajz1624 I think @Matías Sandacz refers to the U and V matrices. Those are orthogonal which means the determinant is either 1 or -1. If it is 1 it would be a rotation. If it -1 it would be a reflection. At 29:46 he even says that it could be a reflection. Can someone please confirm this?

(A^T*A)v = cv (A^t)Av = cv --> v must be in the column space of A^T since it is a linear combination of the columns of A^T. Therefore it is in the rowspace of A

We know that A^T*A = V(E^T*E)V^T in which V2 is an eigenvector to A^T*A, and sigma2^2 is its eigenvalue (from E^T*E). Then (A^T*A)*V2= (sigma2^2)*V2.

@@vivianhuang5647 Thanks :)

U is an orthonormal matrix, so UtU = UUt = I