고급 선형 대수 Lecture 6: 특잇값 분해 SVD의 원리와 기하학

전체 목차 · 이전: Lecture 5 · 고급 선형 대수 글 목록

책과 강의

구분	출처와 범위
교재	Gilbert Strang, Linear Algebra and Learning from Data, 2019. Part I — Highlights of Linear Algebra, I.8 — Singular Values and Singular Vectors in the SVD, pp. 56–70
강의	MIT 18.065, Spring 2018. Lecture 6 — Singular Value Decomposition (SVD)
지정 문제	I.8의 1, 6번, p. 68. 강의 페이지와 전체 문제집 참조
교재의 확장 내용	I.8 후반의 Rayleigh quotient, 블록 대칭행렬, 미분·적분과 유한차분, 극분해도 별도 절로 정리합니다.

쪽수는 인쇄쪽수입니다. 해당 절은 제공된 스캔본의 PDF 36–43번째 페이지에 걸쳐 있습니다. 본문에서는 실수 행렬을 다루며, 복소수에서는 전치를 켤레전치로 바꾸면 대응하는 SVD를 얻습니다.

고유값 분해는 입력과 출력에 같은 기저를 사용합니다. 그러나 직사각형 행렬의 입력과 출력은 아예 서로 다른 공간에 있습니다. SVD는 두 공간에 각각 정규직교 기저를 골라, 행렬의 작용을 방향별 배율로 표현합니다.

1. Ax = λx 대신 Av = σu

$A\in\mathbb R^{m\times n}$의 랭크를 $r$이라 하겠습니다. SVD는 입력의 단위벡터 $v_i\in\mathbb R^n$와 출력의 단위벡터 $u_i\in\mathbb R^m$를 연결합니다.

$Av_i=\sigma_i u_i,\qquad \sigma_1\ge\sigma_2\ge\cdots\ge\sigma_r>0.$

$\sigma_i$는 특잇값, $v_i$는 오른쪽 특이벡터, $u_i$는 왼쪽 특이벡터입니다. 이 글에서는 기저 벡터를 뜻하는 singular vector를 특이벡터로 표기합니다.

벡터 $v_i$와 $u_i$는 같은 방향일 필요가 없고 크기조차 서로 다를 수 있습니다. 대신 각각의 집합 안에서 정규직교입니다.

$v_i^Tv_j=\delta_{ij},\qquad u_i^Tu_j=\delta_{ij}.$

영공간의 나머지 입력 기저 $v_{r+1},\ldots,v_n$는 $Av_i=0$으로 사라집니다. 양의 특잇값의 개수는 정확히 랭크 $r$입니다.

2. 완전 SVD와 랭크 r 축약 SVD

기저를 전체 공간으로 확장하여

$U=[u_1\ \cdots\ u_m],\qquad V=[v_1\ \cdots\ v_n]$

로 놓으면 $U,V$는 정사각 직교행렬입니다. $AV=U\Sigma$를 오른쪽에서 $V^T$와 곱해

$\boxed{A=U\Sigma V^T}$

를 얻습니다. $\Sigma$는 $m\times n$이며 대각선의 첫 $r$개 성분만 양수입니다.

실제로 기여하는 $r$개 방향만 남기면

$\boxed{A=U_r\Sigma_rV_r^T}.$

형태	U	Σ	Vᵀ
완전 SVD	$m\times m$	$m\times n$	$n\times n$
랭크 $r$ 축약 SVD	$m\times r$	$r\times r$	$r\times n$

축약형에서는 $U_r^TU_r=V_r^TV_r=I_r$이지만 $U_rU_r^T$와 $V_rV_r^T$는 일반적으로 단위행렬이 아닙니다. Lecture 3에서 다룬 정사영입니다.

일부 소프트웨어의 경제형 SVD는 $r$ 대신 $k=\min(m,n)$개 방향을 반환하며, 랭크가 부족하면 0에 해당하는 특잇값도 포함합니다. 수학적 랭크 축약형과 옵션 이름만으로 동일시하지 않아야 합니다.

3. AᵀA에서 SVD를 구성한다

Lecture 5에서 보았듯 $A^TA$는 대칭 PSD입니다. 따라서 정규직교 고유기저를 가지며 고유값은 비음수입니다.

$A^TAv_i=\sigma_i^2v_i.$

양의 고유값에 대해 $\sigma_i=\sqrt{\lambda_i}$로 놓고

$u_i=\frac{Av_i}{\sigma_i}$

로 정의합니다. 이때

$u_i^Tu_j =\frac{v_i^TA^TAv_j}{\sigma_i\sigma_j} =\frac{\sigma_j^2}{\sigma_i\sigma_j}v_i^Tv_j =\delta_{ij}.$

즉 출력의 벡터들도 자동으로 정규직교가 됩니다. 또한

$AA^Tu_i=\sigma_i^2u_i,\qquad A^Tu_i=\sigma_i v_i.$

$A^TA$의 0 고유값에 해당하는 벡터에는

$0=v^TA^TAv=\|Av\|_2^2$

이므로 $Av=0$입니다. 이 방향에는 $Av/\sigma$를 계산하지 않습니다. 나머지 $u$들은 $\mathcal N(A^T)$의 정규직교 기저로 채웁니다. 이로써 직사각형, 특이행렬을 포함한 모든 실수 행렬의 SVD를 구성했습니다.

U와 V를 별도로 고유값 분해해서 아무 부호로 조합하면 안 됩니다. 반드시 $Av_i=\sigma_i u_i$가 성립하도록 짝을 맞춰야 합니다. 중복 특잇값에서는 같은 고유공간 안의 기저 선택도 맞춰야 합니다.

4. 네 기본 부분공간이 한꺼번에 보인다

부분공간	SVD가 제공하는 정규직교 기저
행공간 $\mathcal C(A^T)$	$v_1,\ldots,v_r$
영공간 $\mathcal N(A)$	$v_{r+1},\ldots,v_n$
열공간 $\mathcal C(A)$	$u_1,\ldots,u_r$
왼쪽 영공간 $\mathcal N(A^T)$	$u_{r+1},\ldots,u_m$

입력 $x=\sum_{i=1}^n c_iv_i$에 대한 출력은

$Ax=\sum_{i=1}^r\sigma_i c_i u_i.$

영공간 성분은 없어지고, 행공간의 $i$번째 좌표는 $\sigma_i$배 되어 대응하는 열공간 방향으로 이동합니다.

여기서 $A^TA$와 $AA^T$의 양의 고유값 목록은 $\sigma_1^2,\ldots,\sigma_r^2$로 같습니다. 그러나 0 고유값은 각각 $n-r$, $m-r$개로 서로 다를 수 있습니다.

5. 지정 문제 6번으로 SVD를 끝까지 계산하기

교재 I.8의 6번 행렬은

$A=\begin{bmatrix}3&4\\0&5\end{bmatrix}.$

책 본문의 아래 삼각행렬 예제를 전치한 형태입니다. 계산 순서를 따라가겠습니다.

5.1 오른쪽 특이벡터와 특잇값

$A^TA=\begin{bmatrix}9&12\\12&41\end{bmatrix}.$

특성다항식은

$\lambda^2-50\lambda+225=(\lambda-45)(\lambda-5).$

따라서

$\sigma_1=3\sqrt5,\qquad \sigma_2=\sqrt5,$

$v_1=\frac1{\sqrt{10}}\begin{bmatrix}1\\3\end{bmatrix},\qquad v_2=\frac1{\sqrt{10}}\begin{bmatrix}-3\\1\end{bmatrix}.$

5.2 Av를 계산해서 왼쪽 특이벡터 구하기

$Av_1=\frac1{\sqrt{10}}\begin{bmatrix}15\\15\end{bmatrix},\qquad Av_2=\frac1{\sqrt{10}}\begin{bmatrix}-5\\5\end{bmatrix}.$

각각 $3\sqrt5$, $\sqrt5$로 나누면

$u_1=\frac1{\sqrt2}\begin{bmatrix}1\\1\end{bmatrix},\qquad u_2=\frac1{\sqrt2}\begin{bmatrix}-1\\1\end{bmatrix}.$

따라서 완성된 분해는

$U=\frac1{\sqrt2}\begin{bmatrix}1&-1\\1&1\end{bmatrix},\quad \Sigma=\begin{bmatrix}3\sqrt5&0\\0&\sqrt5\end{bmatrix},\quad V=\frac1{\sqrt{10}}\begin{bmatrix}1&-3\\3&1\end{bmatrix}.$

$AA^T=\begin{bmatrix}25&20\\20&25\end{bmatrix}$에도 $u_1,u_2$가 각각 고유값 45, 5의 고유벡터임을 확인할 수 있습니다.

5.3 외적의 합으로 재구성하기

$\sigma_1u_1v_1^T=\frac32\begin{bmatrix}1&3\\1&3\end{bmatrix},\qquad \sigma_2u_2v_2^T=\frac12\begin{bmatrix}3&-1\\-3&1\end{bmatrix}.$

두 조각을 더하면 정확히 $\begin{bmatrix}3&4\\0&5\end{bmatrix}$로 돌아옵니다. 원래 행렬의 고유값은 3, 5이지만 특잇값은 $3\sqrt5,\sqrt5$입니다. 고유값과 특잇값은 일반적으로 다릅니다.

6. 기하학: 좌표 변경, 축별 늘이기, 좌표 복원

$x\ \xrightarrow{V^T}\ \text{입력 특이벡터 좌표} \ \xrightarrow{\Sigma}\ \text{축별 배율 적용} \ \xrightarrow{U}\ Ax.$

정사각 가역 2차원 행렬에서는 단위원이 타원으로 이동합니다. 직교행렬 $V^T,U$는 회전 또는 반사를 담당하고, $\Sigma$가 각 축을 $\sigma_1,\sigma_2$배 합니다. 타원의 반축 방향은 $u_1,u_2$, 반축 길이는 $\sigma_1,\sigma_2$입니다.

랭크가 1이면 원이 선분으로 눌립니다. 일반 직사각형 행렬에서는 입력의 단위공을 열공간 안의 타원체로 보낼 수 있으며, 영공간 방향은 사라집니다.

직교행렬의 행렬식은 $\pm1$이므로 정사각행렬에서 정확한 공식은

$\boxed{|\det A|=\prod_{i=1}^n\sigma_i}.$

절댓값을 빼면 반사를 포함한 행렬에서 틀립니다. 위 예제는 $\det A=15>0$이므로 특잇값의 곱도 15입니다.

7. 가장 많이 늘어나는 방향과 Rayleigh quotient

정규직교성으로

$\|Ax\|_2^2=\sum_{i=1}^r\sigma_i^2c_i^2, \qquad \|x\|_2^2=\sum_{i=1}^n c_i^2.$

따라서

$\max_{x\ne0}\frac{\|Ax\|_2}{\|x\|_2}=\sigma_1.$

최대값은 $x=v_1$에서 얻고, 이것이 행렬의 스펙트럴 노름 $\|A\|_2$입니다. 비율을 제곱하면

$\frac{x^TA^TAx}{x^Tx}$

라는 Rayleigh quotient가 됩니다. 단위벡터 제약 아래 $x^TA^TAx$를 최대로 하는 문제에 Lagrange 승수를 적용하면 $A^TAx=\lambda x$가 나옵니다.

다음 특이벡터는 앞선 $v_1$과 직교한다는 제약을 추가하여 찾습니다. 이를 반복하면 앞선 모든 특이벡터에 직교하면서 가장 많이 늘어나는 방향을 순서대로 얻습니다.

정사각행렬의 고유값에는 $|\lambda|\le\sigma_1$이 성립합니다. $Ax=\lambda x$이면 $\|Ax\|_2=|\lambda|\|x\|_2$이기 때문입니다. 그러나 고유값의 절댓값들이 각각 같은 순서의 특잇값과 일치하는 것은 아닙니다.

8. 중요도 순서가 있는 랭크 1 조각

외적의 합은

$A=\sum_{i=1}^r\sigma_i u_i v_i^T$

입니다. Lecture 2의 일반적인 외적 합과 달리, 여기에는 서로 직교하는 입력·출력 방향과 크기 순서가 함께 들어 있습니다.

앞의 $k<r$개 조각만 남기면

$A_k=\sum_{i=1}^k\sigma_i u_i v_i^T.$

Eckart–Young 정리에 의해 $A_k$는 랭크가 $k$ 이하인 행렬 중 스펙트럴 노름과 Frobenius 노름에서 최적 근사입니다. 오차는

$\|A-A_k\|_2=\sigma_{k+1},\qquad \|A-A_k\|_F=\sqrt{\sum_{i>k}\sigma_i^2}.$

위의 2차원 예제에서 첫 조각만 남기면 두 노름의 오차가 모두 $\sqrt5$입니다. 일반적으로 두 노름의 오차는 서로 다릅니다. 이 정리의 증명과 PCA 연결은 교재 I.9와 Lecture 7 원강의로 이어집니다.

9. 특별한 행렬에서 SVD는 어떻게 보이는가?

행렬	SVD에서 보이는 성질
대칭 PSD $S=Q\Lambda Q^T$	순서를 맞추면 $U=V=Q$, $\Sigma=\Lambda$로 선택 가능
음의 고유값도 있는 대칭행렬	특잇값은 고유값의 절댓값. 음의 부호는 대응하는 한쪽 특이벡터에 반영
정사각 직교행렬 Q	모든 특잇값이 1. $Q=Q\,I\,I^T$도 하나의 SVD
랭크 1 행렬 $ab^T$	$a,b\ne0$이면 양의 특잇값은 $\|a\|_2\|b\|_2$ 하나

랭크 1의 축약 SVD는 직접

$ab^T=\frac{a}{\|a\|_2} \bigl(\|a\|_2\|b\|_2\bigr) \frac{b^T}{\|b\|_2}$

로 쓸 수 있습니다. 정사각 가역행렬에서는 $A^{-1}=V\Sigma^{-1}U^T$이며, 역행렬의 특잇값을 내림차순으로 정렬하면 원래 순서가 뒤집힙니다.

SVD는 유일한 벡터 목록을 보장하지 않습니다. $u_i,v_i$의 부호를 동시에 바꾸어도 같은 행렬입니다. 중복 특잇값에서는 대응하는 두 기저를 함께 회전할 수 있습니다.

10. 교재의 확장: 전치, 블록 행렬, 부분행렬

전치는 입력과 출력을 바꾼다

$A^T=V\Sigma^TU^T$이므로 양의 특잇값은 변하지 않고 왼쪽·오른쪽 특이벡터가 교환됩니다. 따라서 $\|A^T\|_2=\|A\|_2$입니다.

더 일반적으로 $ABx=\lambda x$, $\lambda\ne0$이면 $Bx\ne0$이고 $BA(Bx)=\lambda Bx$입니다. 이 관계는 크기가 다른 $AB,BA$의 영이 아닌 고유값이 대응하는 이유를 설명합니다.

하나의 대칭행렬로 두 방향을 모은다

$H=\begin{bmatrix}0&A\\A^T&0\end{bmatrix}$

에 대해

$H\frac1{\sqrt2}\begin{bmatrix}u_i\\v_i\end{bmatrix} =\sigma_i\frac1{\sqrt2}\begin{bmatrix}u_i\\v_i\end{bmatrix},\qquad H\frac1{\sqrt2}\begin{bmatrix}u_i\\-v_i\end{bmatrix} =-\sigma_i\frac1{\sqrt2}\begin{bmatrix}u_i\\-v_i\end{bmatrix}.$

특잇값 하나가 이 대칭행렬의 고유값 $+\sigma_i,-\sigma_i$ 한 쌍으로 나타납니다. 나머지 $m+n-2r$개의 고유값은 0입니다.

행과 열을 제거하면 최대 특잇값은 커지지 않는다

부분행렬 $B$에 들어갈 입력을 원래 크기의 벡터에 0으로 채우고, 출력에서 필요한 성분만 선택한다고 생각하면

$\|B\|_2\le\|A\|_2$

를 얻습니다. 0을 채우는 과정은 입력 길이를 유지하고, 출력 성분을 버리는 과정은 길이를 늘리지 않기 때문입니다.

11. 교재의 확장: 미분·적분과 유한차분

벡터의 내적을 함수의 적분 내적으로 바꾸어도 직교 방향별 배율이라는 생각은 유용합니다. 교재는 $[0,2\pi]$에서 상수항을 제외한 주기적 cosine·sine 모드의 예를 듭니다. $k\ge1$에 대해

$\int_0^s\cos(kt)\,dt=\frac1k\sin(ks),\qquad \frac{d}{ds}\sin(ks)=k\cos(ks).$

정규화한 cosine 입력과 sine 출력 사이에서 적분은 $1/k$, 미분은 $k$라는 배율을 갖습니다. 적분은 높은 주파수를 작게 만들고 미분은 크게 만듭니다. 여기서는 경계·주기 조건과 함수공간을 정한 모드에 대한 설명이며, 상수까지 포함한 모든 함수에서 미분과 적분이 양쪽 역연산이라는 뜻은 아닙니다.

이산화한 차분 행렬의 예는

$D=\begin{bmatrix}1&0&0\\-1&1&0\\0&-1&1\\0&0&-1\end{bmatrix},\quad D^TD=\begin{bmatrix}2&-1&0\\-1&2&-1\\0&-1&2\end{bmatrix}.$

$D^TD$의 고유값은 $2+\sqrt2,2,2-\sqrt2$이고, $D$의 양의 특잇값은 이들의 제곱근입니다. $DD^T$는 같은 세 양의 고유값에 0 하나가 추가되며, 상수벡터가 그 영공간을 이룹니다. 대응 기저를 이산 sine·cosine 모드로 표현할 수 있어 신호 처리와 연결됩니다.

12. 교재의 확장: 극분해 A = QS

정사각 실수 행렬의 SVD에서 인수를 다시 묶으면

$A=U\Sigma V^T=(UV^T)(V\Sigma V^T)=QS.$

$Q=UV^T$는 직교행렬이고 $S=V\Sigma V^T$는 대칭 PSD입니다. 또한

$S^2=A^TA,\qquad S=(A^TA)^{1/2}.$

이 극분해는 방향을 바꾸는 부분과 대칭적으로 늘이는 부분을 분리합니다. $A$가 가역이면 $S$는 SPD이고 $Q=AS^{-1}$로 유일하게 결정됩니다. 특이행렬에서는 영공간에서의 직교 작용 선택 때문에 $Q$가 유일하지 않을 수 있습니다. 반대쪽으로 묶는 $A=KQ$, $K=U\Sigma U^T$도 가능합니다.

13. 자유도와 데이터 분석으로의 연결

정사각 $n\times n$ 직교행렬은 $n^2$개 성분 중 정규직교 조건 $n(n+1)/2$개를 만족하여 연속 자유도가 $n(n-1)/2$입니다. 예를 들어 2차원 회전은 각도 하나, 3차원 회전은 국소적으로 세 매개변수로 표현할 수 있습니다. 반사의 유무는 별도의 이산 선택입니다.

랭크 $r$ 축약 SVD에서 $U_r$의 자유도는 $mr-r(r+1)/2$, $V_r$는 $nr-r(r+1)/2$, 양의 특잇값은 $r$개입니다. 서로 다른 특잇값을 갖는 일반적인 경우 합은

$r(m+n-r)$

이며, 이는 랭크 $r$ 행렬의 자유도입니다. 중복 특잇값에서는 SVD 기저 표현의 중복 선택을 따로 고려해야 합니다.

교재가 언급하는 Karhunen–Loève 전개와 PCA도 직교 방향별 분산으로 연결됩니다. 평균이 0인 확률벡터의 공분산 $C$를 고유값 분해하면, 해당 기저의 좌표는 서로 무상관입니다. 일반적으로 독립까지 보장하는 것은 아니며, 결합 Gaussian 같은 추가 조건이 필요합니다. 큰 고유값의 방향부터 남기는 것이 평균 제곱 오차를 줄이는 근거가 됩니다.

14. 지정 문제 1번: 고유벡터 좌표의 에너지

대칭행렬 $S$의 정규직교 고유벡터를 $v_1,\ldots,v_n$, 고유값을 $\lambda_i$라 하고 $x=\sum_i c_iv_i$로 씁니다. 그러면

$x^Tx=\sum_{i,j}c_ic_jv_i^Tv_j=\sum_i c_i^2,$

$x^TSx=\sum_{i,j}c_ic_j\lambda_jv_i^Tv_j=\sum_i\lambda_i c_i^2.$

교차항이 사라지는 이유는 정규직교성입니다. $S=A^TA$, $\lambda_i=\sigma_i^2$로 놓으면 이 풀이가 바로 특잇값의 최대 배율 해석을 줍니다. 지정 문제 6번의 전체 계산은 위 5절에 있습니다.

15. NumPy로 확인하기

import numpy as np

A = np.array([[3., 4.], [0., 5.]])
U = np.array([[1., -1.], [1., 1.]]) / np.sqrt(2)
s = np.array([3 * np.sqrt(5), np.sqrt(5)])
V = np.array([[1., -3.], [3., 1.]]) / np.sqrt(10)
assert np.allclose(U.T @ U, np.eye(2))
assert np.allclose(V.T @ V, np.eye(2))
assert np.allclose(A @ V, U @ np.diag(s))
assert np.allclose(A, U @ np.diag(s) @ V.T)
assert np.allclose(np.linalg.eigvalsh(A.T @ A), [5., 45.])
assert np.isclose(abs(np.linalg.det(A)), np.prod(s))

A1 = s[0] * np.outer(U[:, 0], V[:, 0])
assert np.isclose(np.linalg.norm(A - A1, 2), s[1])
assert np.isclose(np.linalg.norm(A - A1, "fro"), s[1])
Q = U @ V.T
S = V @ np.diag(s) @ V.T
assert np.allclose(A, Q @ S)
assert np.allclose(S @ S, A.T @ A)

# NumPy returns V transpose (Vh), not V.
Un, sn, Vh = np.linalg.svd(A, full_matrices=False)
assert np.allclose(A, Un @ np.diag(sn) @ Vh)
assert np.allclose(sn, s)

D = np.array([[1., 0., 0.], [-1., 1., 0.],
              [0., -1., 1.], [0., 0., -1.]])
assert np.allclose(np.linalg.eigvalsh(D.T @ D),
                   [2 - np.sqrt(2), 2, 2 + np.sqrt(2)])
assert np.allclose(D.T @ np.ones(4), 0)

# A rectangular, rank-deficient example distinguishes economy and rank-r SVD.
B = np.outer([1., 2., 3.], [1., -1.])
Ub, sb, Vhb = np.linalg.svd(B, full_matrices=False)
assert Ub.shape == (3, 2) and Vhb.shape == (2, 2)
tol = np.finfo(float).eps * max(B.shape) * sb[0]
r = np.count_nonzero(sb > tol)
assert r == 1
assert np.allclose(B, Ub[:, :r] @ np.diag(sb[:r]) @ Vhb[:r, :])
print("SVD, low-rank approximation, polar, and finite-difference checks passed.")

위 계산에서 $A^TA$는 SVD를 유도하고 손으로 계산하기 위한 도구입니다. 실제 수치 계산에서는 np.linalg.svd(A)처럼 원래 행렬에 직접 SVD 알고리즘을 적용합니다. $A^TA$를 먼저 만들면 열이 독립인 경우에도 2-노름 조건수가 제곱되어 작은 특잇값의 상대 정확도에 불리할 수 있습니다. 특이벡터의 부호가 위의 손계산과 달라도 재구성과 정규직교성이 맞으면 올바른 분해일 수 있습니다.

16. 복습 질문

1. SVD가 직사각형 행렬에도 가능한 이유를 $Av_i=\sigma_i u_i$로 설명할 수 있는가?
2. $\sigma_i=0$일 때 $u_i=Av_i/\sigma_i$ 대신 무엇을 해야 하는가?
3. $A^TA$와 $AA^T$의 고유값 중 일치하는 부분과 달라질 수 있는 부분은 무엇인가?
4. 타원의 축 방향과 반축 길이는 U, V, Σ 중 어디에 들어 있는가?
5. 랭크 축약형과 NumPy의 경제형 SVD는 언제 크기가 달라지는가?
6. $\prod_i\sigma_i$가 $\det A$가 아니라 $|\det A|$인 이유는 무엇인가?

다음 Lecture 7은 교재 I.9 — Principal Components and the Best Low Rank Matrix, pp. 71–80으로 이어집니다. 아직 정리 글은 예정 상태이며 Lecture 7 원강의를 먼저 볼 수 있습니다.

참고 자료

• Gilbert Strang, Linear Algebra and Learning from Data, 2019. Part I, I.8, pp. 56–70. 저자 공식 교재 페이지.
• MIT OpenCourseWare, 18.065, Spring 2018. Lecture 6, 공식 강의 전사문.
• MIT OpenCourseWare, 읽기 목록, 전체 문제집. 지정 문제: I.8의 1, 6번.

이전: Lecture 5 · 전체 목차 · 다음 원강의: Lecture 7