전체 목차 · 이전: Lecture 2 · 다음: Lecture 4
쪽수는 인쇄쪽수이며, 해당 절은 제공된 스캔본의 PDF 22–25번째 페이지에 걸쳐 있습니다. 강의 제목의 Q ′ Q' Q ′ Q T Q^T Q T
좋은 기저를 선택하면 좌표 계산이 쉬워집니다. 정규직교 기저에서는 좌표를 내적으로 구하고, 길이를 좌표 제곱의 합으로 계산할 수 있습니다. 이 성질이 QR, 최소제곱, 푸리에 변환, SVD를 연결합니다.
실수 벡터 u , v u,v u , v u T v = 0 u^Tv=0 u T v = 0
q i T q j = { 1 i = j , 0 i ≠ j . q_i^Tq_j=\begin{cases}1&i=j,\\0&i\ne j.\end{cases}
q i T q j = { 1 0 i = j , i = j .
길이가 2인 두 수직 벡터는 직교하지만 정규직교는 아닙니다. 영벡터는 모든 벡터와 직교하지만 정규직교 집합에는 넣을 수 없습니다.
피타고라스 정리도 내적에서 나옵니다. u T v = 0 u^Tv=0 u T v = 0
∥ u + v ∥ 2 2 = ∥ u ∥ 2 2 + 2 u T v + ∥ v ∥ 2 2 = ∥ u ∥ 2 2 + ∥ v ∥ 2 2 . \|u+v\|_2^2=\|u\|_2^2+2u^Tv+\|v\|_2^2
=\|u\|_2^2+\|v\|_2^2.
∥ u + v ∥ 2 2 = ∥ u ∥ 2 2 + 2 u T v + ∥ v ∥ 2 2 = ∥ u ∥ 2 2 + ∥ v ∥ 2 2 .
영이 아닌 실수 벡터 사이의 각도는 cos θ = u T v / ( ∥ u ∥ 2 ∥ v ∥ 2 ) \cos\theta=u^Tv/(\|u\|_2\|v\|_2) cos θ = u T v / ( ∥ u ∥ 2 ∥ v ∥ 2 )
Q = [ q 1 ⋯ q r ] ∈ R m × r Q=[q_1\ \cdots\ q_r]\in\mathbb R^{m\times r} Q = [ q 1 ⋯ q r ] ∈ R m × r Q T Q Q^TQ Q T Q ( i , j ) (i,j) ( i , j ) q i T q j q_i^Tq_j q i T q j
Q T Q = I r . \boxed{Q^TQ=I_r}.
Q T Q = I r .
이 식에는 두 가지 경우가 있습니다.
Q의 크기
성립하는 식
QQᵀ의 의미
m = r m=r m = r Q − 1 = Q T Q^{-1}=Q^T Q − 1 = Q T Q Q T = I m QQ^T=I_m Q Q T = I m 전체 공간의 항등변환
m > r m>r m > r Q T Q = I r Q^TQ=I_r Q T Q = I r Q의 열공간으로 보내는 정사영
보통 직교행렬 이라는 이름은 정사각형 경우에 사용합니다. 열이 정규직교인 직사각형 행렬에는 왼쪽 역행렬 Q T Q^T Q T
직접 구성한 예제는
q 1 = 1 2 [ 1 1 0 ] , q 2 = [ 0 0 1 ] , Q = [ 1 / 2 0 1 / 2 0 0 1 ] . q_1=\frac1{\sqrt2}\begin{bmatrix}1\\1\\0\end{bmatrix},\quad
q_2=\begin{bmatrix}0\\0\\1\end{bmatrix},\quad
Q=\begin{bmatrix}1/\sqrt2&0\\1/\sqrt2&0\\0&1\end{bmatrix}.
q 1 = 2 1 ⎣ ⎡ 1 1 0 ⎦ ⎤ , q 2 = ⎣ ⎡ 0 0 1 ⎦ ⎤ , Q = ⎣ ⎡ 1 / 2 1 / 2 0 0 0 1 ⎦ ⎤ .
이때 Q T Q = I 2 Q^TQ=I_2 Q T Q = I 2
Q Q T = [ 1 / 2 1 / 2 0 1 / 2 1 / 2 0 0 0 1 ] ≠ I 3 . QQ^T=\begin{bmatrix}1/2&1/2&0\\1/2&1/2&0\\0&0&1\end{bmatrix}\ne I_3.
Q Q T = ⎣ ⎡ 1 / 2 1 / 2 0 1 / 2 1 / 2 0 0 0 1 ⎦ ⎤ = I 3 .
x , y ∈ R r x,y\in\mathbb R^r x , y ∈ R r
( Q x ) T ( Q y ) = x T Q T Q y = x T y . (Qx)^T(Qy)=x^TQ^TQy=x^Ty.
( Q x ) T ( Q y ) = x T Q T Q y = x T y .
따라서 ∥ Q x ∥ 2 = ∥ x ∥ 2 \|Qx\|_2=\|x\|_2 ∥ Q x ∥ 2 = ∥ x ∥ 2 Q Q Q Q T Q^T Q T R m \mathbb R^m R m
정사각 직교행렬에서는 det ( Q ) 2 = det ( Q T Q ) = 1 \det(Q)^2=\det(Q^TQ)=1 det ( Q ) 2 = det ( Q T Q ) = 1 + 1 +1 + 1 − 1 -1 − 1
( Q 1 Q 2 ) T ( Q 1 Q 2 ) = Q 2 T Q 1 T Q 1 Q 2 = I . (Q_1Q_2)^T(Q_1Q_2)=Q_2^TQ_1^TQ_1Q_2=I.
( Q 1 Q 2 ) T ( Q 1 Q 2 ) = Q 2 T Q 1 T Q 1 Q 2 = I .
길이 보존은 수치 계산에서 유리하지만, 유한 정밀도 연산의 반올림이나 표현 범위 문제까지 사라진다는 뜻은 아닙니다.
b b b Q Q Q b = Q c b=Qc b = Q c
c = Q T b , c i = q i T b . c=Q^Tb,\qquad c_i=q_i^Tb.
c = Q T b , c i = q i T b .
일반적인 b ∈ R m b\in\mathbb R^m b ∈ R m
p = Q Q T b , e = b − p p=QQ^Tb,\qquad e=b-p
p = Q Q T b , e = b − p
를 얻습니다. Q T e = Q T b − Q T Q Q T b = 0 Q^Te=Q^Tb-Q^TQQ^Tb=0 Q T e = Q T b − Q T Q Q T b = 0
위 예제에서 b = ( 2 , 0 , 3 ) T b=(2,0,3)^T b = ( 2 , 0 , 3 ) T
Q T b = ( 2 , 3 ) T , p = ( 1 , 1 , 3 ) T , e = ( 1 , − 1 , 0 ) T . Q^Tb=(\sqrt2,3)^T,\quad p=(1,1,3)^T,\quad e=(1,-1,0)^T.
Q T b = ( 2 , 3 ) T , p = ( 1 , 1 , 3 ) T , e = ( 1 , − 1 , 0 ) T .
∥ b ∥ 2 2 = 13 \|b\|_2^2=13 ∥ b ∥ 2 2 = 1 3 ∥ p ∥ 2 2 = 11 \|p\|_2^2=11 ∥ p ∥ 2 2 = 1 1 ∥ e ∥ 2 2 = 2 \|e\|_2^2=2 ∥ e ∥ 2 2 = 2
가장 가깝다는 사실도 증명할 수 있습니다. 임의의 Q c Qc Q c
∥ b − Q c ∥ 2 2 = ∥ e ∥ 2 2 + ∥ p − Q c ∥ 2 2 ≥ ∥ e ∥ 2 2 . \|b-Qc\|_2^2=\|e\|_2^2+\|p-Qc\|_2^2\ge\|e\|_2^2.
∥ b − Q c ∥ 2 2 = ∥ e ∥ 2 2 + ∥ p − Q c ∥ 2 2 ≥ ∥ e ∥ 2 2 .
서로 직교하는 두 성분으로 나누었기 때문입니다. 최소값은 c = Q T b c=Q^Tb c = Q T b
정사영 행렬 P = Q Q T P=QQ^T P = Q Q T
P T = P , P 2 = Q Q T Q Q T = P P^T=P,\qquad P^2=QQ^TQQ^T=P
P T = P , P 2 = Q Q T Q Q T = P
를 만족합니다. 한 번 투영한 결과를 다시 투영해도 바뀌지 않습니다. P P P
독립인 두 열 a 1 , a 2 a_1,a_2 a 1 , a 2
q 1 = a 1 ∥ a 1 ∥ 2 , w 2 = a 2 − q 1 ( q 1 T a 2 ) , q 2 = w 2 ∥ w 2 ∥ 2 . q_1=\frac{a_1}{\|a_1\|_2},\quad
w_2=a_2-q_1(q_1^Ta_2),\quad
q_2=\frac{w_2}{\|w_2\|_2}.
q 1 = ∥ a 1 ∥ 2 a 1 , w 2 = a 2 − q 1 ( q 1 T a 2 ) , q 2 = ∥ w 2 ∥ 2 w 2 .
예를 들어
a 1 = [ 1 1 0 ] , a 2 = [ 1 1 2 ] a_1=\begin{bmatrix}1\\1\\0\end{bmatrix},\qquad
a_2=\begin{bmatrix}1\\1\\2\end{bmatrix}
a 1 = ⎣ ⎡ 1 1 0 ⎦ ⎤ , a 2 = ⎣ ⎡ 1 1 2 ⎦ ⎤
이면 q 1 q_1 q 1 q 1 T a 2 = 2 q_1^Ta_2=\sqrt2 q 1 T a 2 = 2 w 2 = ( 0 , 0 , 2 ) T w_2=(0,0,2)^T w 2 = ( 0 , 0 , 2 ) T q 2 = ( 0 , 0 , 1 ) T q_2=(0,0,1)^T q 2 = ( 0 , 0 , 1 ) T
[ a 1 a 2 ] = Q [ 2 2 0 2 ] ⏟ R . [a_1\ a_2]
=Q\underbrace{\begin{bmatrix}\sqrt2&\sqrt2\\0&2\end{bmatrix}}_R.
[ a 1 a 2 ] = Q R [ 2 0 2 2 ] .
일반적인 j j j
w j = a j − ∑ i < j q i ( q i T a j ) , r i j = q i T a j ( i < j ) , r j j = ∥ w j ∥ 2 . w_j=a_j-\sum_{i<j}q_i(q_i^Ta_j),\qquad
r_{ij}=q_i^Ta_j\ (i<j),\qquad r_{jj}=\|w_j\|_2.
w j = a j − i < j ∑ q i ( q i T a j ) , r i j = q i T a j ( i < j ) , r j j = ∥ w j ∥ 2 .
w j = 0 w_j=0 w j = 0
Lecture 2 의 관계를 다시 쓰면
R n = C ( A T ) ⊕ N ( A ) , R m = C ( A ) ⊕ N ( A T ) . \mathbb R^n=\mathcal C(A^T)\oplus\mathcal N(A),\qquad
\mathbb R^m=\mathcal C(A)\oplus\mathcal N(A^T).
R n = C ( A T ) ⊕ N ( A ) , R m = C ( A ) ⊕ N ( A T ) .
⊕ \oplus ⊕ V r V_r V r U r U_r U r
x r o w = V r V r T x , x n u l l = ( I − V r V r T ) x . x_{\rm row}=V_rV_r^Tx,\qquad
x_{\rm null}=(I-V_rV_r^T)x.
x r o w = V r V r T x , x n u l l = ( I − V r V r T ) x .
출력 쪽에서는 U r U r T b U_rU_r^Tb U r U r T b ( I − U r U r T ) b (I-U_rU_r^T)b ( I − U r U r T ) b A x = b Ax=b A x = b Lecture 6 의 SVD는 이 두 정규직교 기저를 함께 제공합니다.
평면에서 각도 θ \theta θ
R θ = [ cos θ − sin θ sin θ cos θ ] . R_\theta=\begin{bmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{bmatrix}.
R θ = [ cos θ sin θ − sin θ cos θ ] .
R θ T R θ = I R_\theta^TR_\theta=I R θ T R θ = I det ( R θ ) = 1 \det(R_\theta)=1 det ( R θ ) = 1 diag ( 1 , − 1 ) \operatorname{diag}(1,-1) d i a g ( 1 , − 1 ) x x x − 1 -1 − 1
단위벡터 u u u Householder 반사 는
H = I − 2 u u T H=I-2uu^T
H = I − 2 u u T
입니다. H u = − u Hu=-u H u = − u u T z = 0 u^Tz=0 u T z = 0 z z z H z = z Hz=z H z = z u u u
H T H = H 2 = I − 4 u u T + 4 u ( u T u ) u T = I . H^TH=H^2=I-4uu^T+4u(u^Tu)u^T=I.
H T H = H 2 = I − 4 u u T + 4 u ( u T u ) u T = I .
이러한 반사를 차례로 적용하면 벡터의 특정 성분을 0으로 만들 수 있어 QR 계산에도 쓰입니다.
가장 작은 Hadamard 행렬을 정규화하면
Q H = 1 2 [ 1 1 1 − 1 ] . Q_H=\frac1{\sqrt2}\begin{bmatrix}1&1\\1&-1\end{bmatrix}.
Q H = 2 1 [ 1 1 1 − 1 ] .
Q H T x Q_H^Tx Q H T x ( x 1 + x 2 ) / 2 (x_1+x_2)/\sqrt2 ( x 1 + x 2 ) / 2 ( x 1 − x 2 ) / 2 (x_1-x_2)/\sqrt2 ( x 1 − x 2 ) / 2
정규화 전 행렬이 H n T H n = n I H_n^TH_n=nI H n T H n = n I
H 2 n = [ H n H n H n − H n ] H_{2n}=\begin{bmatrix}H_n&H_n\\H_n&-H_n\end{bmatrix}
H 2 n = [ H n H n H n − H n ]
도 H 2 n T H 2 n = 2 n I H_{2n}^TH_{2n}=2nI H 2 n T H 2 n = 2 n I n = 2 k n=2^k n = 2 k n \sqrt n n
길이 4인 신호에는 다음 정규직교 Haar 기저를 사용할 수 있습니다.
Q W = [ 1 / 2 1 / 2 1 / 2 0 1 / 2 1 / 2 − 1 / 2 0 1 / 2 − 1 / 2 0 1 / 2 1 / 2 − 1 / 2 0 − 1 / 2 ] . Q_W=\begin{bmatrix}
1/2&1/2&1/\sqrt2&0\\
1/2&1/2&-1/\sqrt2&0\\
1/2&-1/2&0&1/\sqrt2\\
1/2&-1/2&0&-1/\sqrt2
\end{bmatrix}.
Q W = ⎣ ⎢ ⎢ ⎡ 1 / 2 1 / 2 1 / 2 1 / 2 1 / 2 1 / 2 − 1 / 2 − 1 / 2 1 / 2 − 1 / 2 0 0 0 0 1 / 2 − 1 / 2 ⎦ ⎥ ⎥ ⎤ .
첫 열은 전체 평균, 둘째 열은 앞·뒤 절반의 차이, 나머지는 각 절반 안의 세부 차이를 나타냅니다. 정규화 전 열의 길이가 2 , 2 , 2 , 2 2,2,\sqrt2,\sqrt2 2 , 2 , 2 , 2
복소수에서는 z T z z^Tz z T z z = ( 1 , i ) T z=(1,i)^T z = ( 1 , i ) T z T z = 0 z^Tz=0 z T z = 0 z z z
z ∗ w = ∑ j z j ‾ w j , z ∗ z = ∑ j ∣ z j ∣ 2 . z^*w=\sum_j\overline{z_j}w_j,\qquad z^*z=\sum_j|z_j|^2.
z ∗ w = j ∑ z j w j , z ∗ z = j ∑ ∣ z j ∣ 2 .
∗ * ∗ 유니터리 행렬 은 F ∗ F = I F^*F=I F ∗ F = I
j , k = 0 , … , n − 1 j,k=0,\ldots,n-1 j , k = 0 , … , n − 1
F j k = 1 n ω j k , ω = e 2 π i / n F_{jk}=\frac1{\sqrt n}\omega^{jk},\qquad
\omega=e^{2\pi i/n}
F j k = n 1 ω j k , ω = e 2 π i / n
로 정하면
( F ∗ F ) k ℓ = 1 n ∑ j = 0 n − 1 ω j ( ℓ − k ) = { 1 k = ℓ , 0 k ≠ ℓ . (F^*F)_{k\ell}=\frac1n\sum_{j=0}^{n-1}\omega^{j(\ell-k)}
=\begin{cases}1&k=\ell,\\0&k\ne\ell.\end{cases}
( F ∗ F ) k ℓ = n 1 j = 0 ∑ n − 1 ω j ( ℓ − k ) = { 1 0 k = ℓ , k = ℓ .
다른 주파수의 열이 직교하는 이유는 등비급수의 합이 0이기 때문입니다. 부호를 반대로 정의하는 DFT 관례도 있으며, 이 글의 정의에서는 분석 변환이 F ∗ F^* F ∗ F F F
순환 이동 P ( x 0 , x 1 , … , x n − 1 ) T = ( x 1 , … , x n − 1 , x 0 ) T P(x_0,x_1,\ldots,x_{n-1})^T=(x_1,\ldots,x_{n-1},x_0)^T P ( x 0 , x 1 , … , x n − 1 ) T = ( x 1 , … , x n − 1 , x 0 ) T F F F k k k f k f_k f k P f k = ω k f k Pf_k=\omega^k f_k P f k = ω k f k
단위벡터 u u u w = v − u ( u T v ) w=v-u(u^Tv) w = v − u ( u T v )
u T w = u T v − ( u T u ) ( u T v ) = 0. u^Tw=u^Tv-(u^Tu)(u^Tv)=0.
u T w = u T v − ( u T u ) ( u T v ) = 0 .
이것이 Gram–Schmidt의 핵심입니다. v v v ∥ w ∥ 2 2 = 1 − ( u T v ) 2 \|w\|_2^2=1-(u^Tv)^2 ∥ w ∥ 2 2 = 1 − ( u T v ) 2 u , v u,v u , v w = 0 w=0 w = 0
Q T Q = I Q^TQ=I Q T Q = I ( Q x ) T ( Q y ) = x T y (Qx)^T(Qy)=x^Ty ( Q x ) T ( Q y ) = x T y y = x y=x y = x Q Q T = I QQ^T=I Q Q T = I Q Q Q
P = [ 0 1 0 0 0 0 1 0 0 0 0 1 1 0 0 0 ] . P=\begin{bmatrix}0&1&0&0\\0&0&1&0\\0&0&0&1\\1&0&0&0\end{bmatrix}.
P = ⎣ ⎢ ⎢ ⎡ 0 0 0 1 1 0 0 0 0 1 0 0 0 0 1 0 ⎦ ⎥ ⎥ ⎤ .
각 열은 서로 다른 표준기저 벡터이므로 P T P = I P^TP=I P T P = I P − 1 = P T P^{-1}=P^T P − 1 = P T P P P P T P^T P T P 4 = I P^4=I P 4 = I
import numpy as npQ = np.array([[1 / np.sqrt(2 ), 0. ], [1 / np.sqrt(2 ), 0. ], [0. , 1. ]]) b = np.array([2. , 0. , 3. ]) P = Q @ Q.T projection = P @ b residual = b - projection assert np.allclose(Q.T @ Q, np.eye(2 ))assert not np.allclose(P, np.eye(3 ))assert np.allclose(P @ P, P)assert np.allclose(projection, [1. , 1. , 3. ])assert np.allclose(Q.T @ residual, 0 )assert np.isclose(b @ b, projection @ projection + residual @ residual)A = np.array([[1. , 1. ], [1. , 1. ], [0. , 2. ]]) R = np.array([[np.sqrt(2 ), np.sqrt(2 )], [0. , 2. ]]) assert np.allclose(A, Q @ R)Haar = np.array([[.5 , .5 , 1 / np.sqrt(2 ), 0. ], [.5 , .5 , -1 / np.sqrt(2 ), 0. ], [.5 , -.5 , 0. , 1 / np.sqrt(2 )], [.5 , -.5 , 0. , -1 / np.sqrt(2 )]]) assert np.allclose(Haar.T @ Haar, np.eye(4 ))n = 4 k = np.arange(n) F = np.exp(2j * np.pi * np.outer(k, k) / n) / np.sqrt(n) shift = np.roll(np.eye(n), -1 , axis=0 ) assert np.allclose(F.conj().T @ F, np.eye(n))assert np.allclose(shift @ F, F @ np.diag(np.exp(2j * np.pi * k / n)))print ("Orthogonality, projection, QR, Haar, and Fourier checks passed." )
Q T Q = I Q^TQ=I Q T Q = I Q Q T = I QQ^T=I Q Q T = I 정사영 오차가 열공간과 직교하면 왜 거리가 최소가 되는가?
Gram–Schmidt에서 정규화할 벡터가 0이 되는 것은 어떤 의미인가?
Householder 반사에서 바뀌는 방향과 그대로인 방향은 무엇인가?
Fourier 행렬에서 전치 대신 켤레전치를 사용해야 하는 이유는 무엇인가?
Gilbert Strang, Linear Algebra and Learning from Data , 2019. Part I, I.5, pp. 29–35 . 저자 공식 교재 페이지 .
MIT OpenCourseWare, 18.065, Spring 2018. Lecture 3 공식 강의 전사문 .
MIT OpenCourseWare, 읽기 목록 , 전체 문제집 . 지정 문제: I.5의 2, 4, 6번 .
이전: Lecture 2 · 전체 목차 · 다음: Lecture 4