고급 선형 대수 Lecture 2: 행렬곱의 네 가지 관점과 다섯 가지 분해

전체 목차 · 이전: Lecture 1 · 다음: Lecture 3

책과 강의

구분	출처와 범위
교재	Gilbert Strang, Linear Algebra and Learning from Data, 2019. Part I — Highlights of Linear Algebra, I.2 — Matrix-Matrix Multiplication AB, pp. 9–13
강의	MIT 18.065, Spring 2018. Lecture 2 — Multiplying and Factoring Matrices
연결 읽기	강의의 네 부분공간과 소거법에 대응하는 I.3 — The Four Fundamental Subspaces, pp. 14–20; I.4 — Elimination and A = LU, pp. 21–28. 두 절의 독립적인 보완 글은 전체 목차에 별도로 남겨 둡니다.
지정 문제	I.2의 2, 6번, p. 13. 강의 페이지와 전체 문제집 참조

이 글의 기본 범위는 I.2이며, 강의 후반의 소거법과 네 부분공간도 연결해서 다룹니다. 쪽수는 인쇄쪽수입니다. I.2는 제공된 스캔본의 PDF 12–14번째 페이지에 있습니다. 별도로 지정 문제라고 표시한 부분 외의 수치 예제는 설명을 위해 구성했습니다.

Lecture 1에서는 $Ax$를 열의 선형결합으로 보았습니다. 이번에는 입력 벡터를 여러 개 나란히 놓은 $AB$를 생각합니다. 같은 곱셈을 어떤 묶음으로 읽느냐에 따라 계산, 공간, 분해가 서로 연결됩니다.

1. 먼저 크기와 순서를 확인한다

$A\in\mathbb R^{m\times n},\qquad B\in\mathbb R^{n\times p} \quad\Longrightarrow\quad AB\in\mathbb R^{m\times p}.$

$B$가 $\mathbb R^p$에서 $\mathbb R^n$으로, $A$가 다시 $\mathbb R^m$으로 보냅니다. $ABx=A(Bx)$이므로 오른쪽 변환을 먼저 적용합니다.

곱셈의 순서는 바꿀 수 없습니다. $BA$는 크기부터 맞지 않을 수 있고, 둘 다 정의되어도 보통 $AB\ne BA$입니다. 반면 크기가 맞으면 결합법칙 $(AB)C=A(BC)$은 성립합니다. 전치에서는 순서가 뒤집힙니다.

$(AB)^T=B^TA^T.$

아래 예제를 네 가지 방식으로 계산하겠습니다.

$A=\begin{bmatrix}1&2&0\\0&1&1\end{bmatrix},\qquad B=\begin{bmatrix}1&0\\0&1\\2&3\end{bmatrix}.$

2. 성분 하나: 행과 열의 내적

가장 익숙한 공식은

$(AB)_{ij}=\sum_{k=1}^{n}a_{ik}b_{kj}$

입니다. $A$의 $i$번째 행과 $B$의 $j$번째 열을 내적합니다. 예제에서

$AB=\begin{bmatrix} 1\cdot1+2\cdot0+0\cdot2&1\cdot0+2\cdot1+0\cdot3\\ 0\cdot1+1\cdot0+1\cdot2&0\cdot0+1\cdot1+1\cdot3 \end{bmatrix} =\begin{bmatrix}1&2\\2&4\end{bmatrix}.$

이 관점은 특정 성분을 확인할 때 좋습니다. 표준적인 직접 계산은 곱셈 $mnp$번을 사용합니다. 합을 묶는 순서를 바꾸는 것만으로 이 곱셈 횟수가 줄어들지는 않습니다.

3. 열 전체: AB의 열은 A의 열공간 안에 있다

$B=[b_1\ \cdots\ b_p]$라 쓰면

$AB=[Ab_1\ \cdots\ Ab_p].$

각 결과 열은 $A$의 열을 $b_j$의 성분으로 선형결합한 것입니다. 예제의 첫 번째 열과 두 번째 열은

$Ab_1=\begin{bmatrix}1\\0\end{bmatrix} +2\begin{bmatrix}0\\1\end{bmatrix} =\begin{bmatrix}1\\2\end{bmatrix},\qquad Ab_2=\begin{bmatrix}2\\1\end{bmatrix} +3\begin{bmatrix}0\\1\end{bmatrix} =\begin{bmatrix}2\\4\end{bmatrix}.$

따라서

$\mathcal C(AB)\subseteq\mathcal C(A).$

단, 포함관계가 항상 등호는 아닙니다. 이 예제에서 $A$의 열공간은 $\mathbb R^2$ 전체이지만 $AB$의 두 열은 같은 직선 위에 있습니다.

4. 행 전체: AB의 행은 B의 행공간 안에 있다

행도 같은 방식으로 읽을 수 있습니다.

$(AB)_{i,:}=\sum_{k=1}^{n}a_{ik}B_{k,:}.$

예제의 첫 행은 $B$의 첫 행에 둘째 행의 두 배를 더한 $(1,2)$이고, 둘째 행은 $B$의 둘째 행과 셋째 행을 더한 $(2,4)$입니다. 그러므로

$\mathcal C((AB)^T)\subseteq\mathcal C(B^T),\qquad \operatorname{rank}(AB)\leq \min\{\operatorname{rank}(A),\operatorname{rank}(B)\}.$

곱셈 중 정보가 사라질 수 있습니다. 예제에서는 $A,B$ 모두 랭크 2지만 $AB$는 랭크 1입니다. $B$가 만드는 어떤 방향을 $A$가 영벡터로 보내기 때문입니다.

5. 행렬 전체: 열과 행의 외적을 더한다

이번에는 안쪽 인덱스 $k$별로 묶습니다. $a_k=A_{:,k}$를 $A$의 열이라고 하면

$\boxed{AB=\sum_{k=1}^{n}a_kB_{k,:}}.$

각 항의 크기는 $(m\times1)(1\times p)=m\times p$입니다. 내적이 숫자 하나를 만드는 것과 달리, 외적은 행렬 하나를 만듭니다. 예제에서는

$AB= \begin{bmatrix}1\\0\end{bmatrix}\begin{bmatrix}1&0\end{bmatrix} +\begin{bmatrix}2\\1\end{bmatrix}\begin{bmatrix}0&1\end{bmatrix} +\begin{bmatrix}0\\1\end{bmatrix}\begin{bmatrix}2&3\end{bmatrix}$

$=\begin{bmatrix}1&0\\0&0\end{bmatrix} +\begin{bmatrix}0&2\\0&1\end{bmatrix} +\begin{bmatrix}0&0\\2&3\end{bmatrix}.$

$uv^T$의 모든 열은 $u$의 배수이고 모든 행은 $v^T$의 배수입니다. 따라서 $u,v$가 모두 영벡터가 아니면 랭크 1, 어느 하나가 영벡터면 랭크 0입니다. 여러 랭크 1 행렬을 더할 때에는 방향이 중복되거나 상쇄될 수 있으므로, 합의 랭크가 항의 개수와 같다는 보장은 없습니다.

6. 다섯 가지 분해를 한 표로 읽기

교재 I.2는 행렬곱을 거꾸로 바라보게 합니다. 곱을 계산하는 대신, 주어진 행렬을 성질이 좋은 인수로 나눕니다.

분해	조건과 인수의 의미	무엇을 드러내는가
$PA=LU$	정사각 가역행렬의 소거법. $P$는 행 교환, $L,U$는 아래·위 삼각행렬	연립방정식을 두 삼각계로 풀기
$A=QR$	열이 독립인 $m\times n$ 행렬에서는 $Q^TQ=I_n$, $R$은 가역인 위 삼각행렬	직교기저와 그 기저에서의 좌표
$S=Q\Lambda Q^T$	실수 대칭행렬. $Q$는 정규직교 고유벡터, $\Lambda$는 실수 고유값	서로 직교하는 방향별 작용
$A=X\Lambda X^{-1}$	정사각행렬에 독립인 고유벡터가 충분할 때. 경우에 따라 복소수 사용	같은 고유벡터 기저에서의 대각화
$A=U\Sigma V^T$	모든 실수 직사각형 행렬. $U,V$는 직교행렬, $\Sigma$는 비음수 대각 성분을 갖는 직사각형 행렬	입력·출력의 두 직교기저와 늘어나는 정도

QR에는 랭크가 부족한 행렬을 위한 형태도 있지만, 위 표는 열이 독립인 경우의 간단한 형태를 적었습니다. 일반적인 대각화와 SVD를 혼동하지 않아야 합니다. 전자는 실패하는 행렬이 있지만 후자는 항상 존재합니다.

7. LU를 랭크 1 조각으로 이해하기

직접 구성한 행렬

$M=\begin{bmatrix}2&1\\6&5\end{bmatrix}$

의 둘째 행에서 첫째 행의 3배를 빼면 $U=\begin{bmatrix}2&1\\0&2\end{bmatrix}$입니다. 사용한 배수 3을 저장하면

$M=\underbrace{\begin{bmatrix}1&0\\3&1\end{bmatrix}}_L \underbrace{\begin{bmatrix}2&1\\0&2\end{bmatrix}}_U =\begin{bmatrix}1\\3\end{bmatrix}\begin{bmatrix}2&1\end{bmatrix} +\begin{bmatrix}0\\1\end{bmatrix}\begin{bmatrix}0&2\end{bmatrix}.$

첫 조각은 원래 행렬의 첫 행과 첫 열을 정확하게 재현합니다. 이것을 빼면 오른쪽 아래에 작은 문제가 남습니다.

$M-\begin{bmatrix}2&1\\6&3\end{bmatrix} =\begin{bmatrix}0&0\\0&2\end{bmatrix}.$

일반적으로 첫 피벗 $a\ne0$인 블록 행렬은

$\begin{bmatrix}a&b^T\\c&D\end{bmatrix} =\begin{bmatrix}1\\c/a\end{bmatrix}\begin{bmatrix}a&b^T\end{bmatrix} +\begin{bmatrix}0&0\\0&D-cb^T/a\end{bmatrix}.$

남는 $D-cb^T/a$에 같은 과정을 반복하는 것이 소거법입니다. 이 블록을 Schur complement라고 부릅니다. 이 관점은 강의에서 소개하는 외적과 LU의 연결을 보여 줍니다.

가역이라고 해서 행 교환 없는 $LU$가 항상 가능한 것은 아닙니다. 예를 들어 $\begin{bmatrix}0&1\\1&0\end{bmatrix}$는 가역이지만 첫 피벗이 0입니다. 이때에는 행을 교환한 $PA=LU$를 사용합니다. 실제 계산에서는 0이 아닌 작은 피벗도 수치 오차를 키울 수 있어 피벗 선택이 중요합니다.

$Mx=d$를 풀 때에는 $Ly=d$를 먼저 풀고 $Ux=y$를 풉니다. 역행렬 전체를 구할 필요 없이 같은 분해를 여러 우변에 재사용할 수 있습니다.

8. 대칭행렬의 분해도 외적의 합이다

$S=Q\Lambda Q^T$에서 $Q=[q_1\ \cdots\ q_n]$이면 $Q\Lambda$의 $i$번째 열은 $\lambda_iq_i$입니다. 따라서

$S=\sum_{i=1}^{n}\lambda_iq_iq_i^T.$

정규직교성 $q_i^Tq_j=\delta_{ij}$ 때문에

$Sq_j=\sum_i\lambda_iq_i(q_i^Tq_j)=\lambda_jq_j.$

각 조각은 $q_i$ 방향의 성분만 골라 $\lambda_i$배 합니다. 예를 들어

$S=\begin{bmatrix}3&1\\1&3\end{bmatrix},\quad q_1=\frac1{\sqrt2}\begin{bmatrix}1\\1\end{bmatrix},\quad q_2=\frac1{\sqrt2}\begin{bmatrix}1\\-1\end{bmatrix}$

이면 $S=4q_1q_1^T+2q_2q_2^T$입니다. 같은 방향에서 반복해서 작용하므로 $S^k=4^kq_1q_1^T+2^kq_2q_2^T$도 바로 얻습니다. 자세한 대각화는 Lecture 4에서 다룹니다.

SVD에서도 같은 외적 규칙을 사용하여 $A=\sum_{i=1}^r\sigma_i u_i v_i^T$로 씁니다. 다만 입력 방향 $v_i$와 출력 방향 $u_i$가 서로 다를 수 있다는 차이가 있습니다.

9. 강의 후반: 네 기본 부분공간

$A\in\mathbb R^{m\times n}$, $\operatorname{rank}(A)=r$에 대해 네 공간을 구별합니다.

공간	정의	놓이는 공간	차원
열공간 $\mathcal C(A)$	가능한 모든 출력 $Ax$	$\mathbb R^m$	$r$
행공간 $\mathcal C(A^T)$	행들의 선형결합	$\mathbb R^n$	$r$
영공간 $\mathcal N(A)$	$Ax=0$인 입력	$\mathbb R^n$	$n-r$
왼쪽 영공간 $\mathcal N(A^T)$	$A^Ty=0$인 벡터	$\mathbb R^m$	$m-r$

영공간에 $x,z$가 있으면 $A(\alpha x+\beta z)=0$이므로 선형결합도 그 공간에 남습니다. 자유변수의 개수가 $n-r$라는 소거법의 결과가 영공간의 차원을 줍니다.

공간 사이의 관계는 차원뿐 아니라 직교성으로도 나타납니다.

$\mathcal N(A)=\mathcal C(A^T)^\perp,\qquad \mathcal N(A^T)=\mathcal C(A)^\perp.$

$Ax=0$은 $x$가 $A$의 모든 행과 수직이라는 뜻이기 때문입니다. 따라서 입력은 유일하게

$x=x_{\rm row}+x_{\rm null},\qquad Ax=Ax_{\rm row}$

로 분해됩니다. 행공간에 제한한 $A$는 열공간으로 가는 일대일 대응입니다. 행공간 안의 벡터가 영공간에도 속하려면 영벡터여야 하기 때문입니다. Lecture 3에서는 이 분해를 정사영으로 계산합니다.

10. 지정 문제 풀이 — I.2의 2, 6번

2번: 외적의 크기와 성분

$a\in\mathbb R^m$, $b\in\mathbb R^p$이면 $ab^T$는 $m\times p$ 행렬이고 $(i,j)$ 성분은 $a_i b_j$입니다. $aa^T$는 $m\times m$ 대칭행렬입니다.

$(aa^T)^T=aa^T,\qquad x^Taa^Tx=(a^Tx)^2\ge0.$

즉 대칭일 뿐 아니라 양의 준정부호입니다. $a\ne0$일 때 랭크는 1입니다. $m>1$이면 $a$에 수직인 영이 아닌 $x$가 있어 에너지가 0이 되므로 양의 정부호는 아닙니다. 준정부호와 정부호는 Lecture 5에서 구별합니다.

6번: B가 단위행렬일 때

$A=[a_1\ a_2\ a_3]$, $B=I_3$라면

$AI_3=a_1e_1^T+a_2e_2^T+a_3e_3^T.$

$a_1e_1^T=[a_1\ 0\ 0]$이고 나머지 항도 각각 두 번째·세 번째 열만 채웁니다. 세 항을 더하면 정확히 $A$가 됩니다. 이 예제는 외적 합에서 어떤 항이 어느 열을 만드는지 가장 쉽게 보여 줍니다.

11. NumPy로 확인하기

아래 코드는 외적의 합, 곱의 랭크 감소, LU와 대칭 분해를 함께 검증합니다.

import numpy as np

A = np.array([[1., 2., 0.], [0., 1., 1.]])
B = np.array([[1., 0.], [0., 1.], [2., 3.]])
pieces = [np.outer(A[:, k], B[k, :]) for k in range(3)]
assert np.allclose(sum(pieces), A @ B)
assert np.allclose(A @ B, [[1., 2.], [2., 4.]])
assert np.linalg.matrix_rank(A) == np.linalg.matrix_rank(B) == 2
assert np.linalg.matrix_rank(A @ B) == 1

M = np.array([[2., 1.], [6., 5.]])
L = np.array([[1., 0.], [3., 1.]])
U = np.array([[2., 1.], [0., 2.]])
assert np.allclose(M, L @ U)

Q = np.array([[1., 1.], [1., -1.]]) / np.sqrt(2)
S = np.array([[3., 1.], [1., 3.]])
assert np.allclose(Q.T @ Q, np.eye(2))
assert np.allclose(S, Q @ np.diag([4., 2.]) @ Q.T)
assert np.allclose(np.linalg.matrix_power(S, 3),
                   Q @ np.diag([4.**3, 2.**3]) @ Q.T)
print("Matrix multiplication and factorization checks passed.")

12. 복습 질문

1. 내적과 외적은 각각 어떤 크기의 결과를 만드는가?
2. $\mathcal C(AB)\subseteq\mathcal C(A)$가 등호가 되지 않는 예를 설명할 수 있는가?
3. 소거법의 한 단계를 랭크 1 행렬을 떼어 내는 과정으로 쓸 수 있는가?
4. $A=X\Lambda X^{-1}$와 $A=U\Sigma V^T$의 존재 조건은 어떻게 다른가?
5. 네 기본 부분공간의 차원과 서로 직교하는 두 쌍을 기억하는가?

참고 자료

• Gilbert Strang, Linear Algebra and Learning from Data, 2019. Part I, I.2, pp. 9–13; 강의와 연결되는 I.3, pp. 14–20; I.4, pp. 21–28. 저자 공식 교재 페이지.
• MIT OpenCourseWare, 18.065, Spring 2018. Lecture 2, 공식 강의 전사문.
• MIT OpenCourseWare, 읽기 목록, 전체 문제집. 지정 문제: I.2의 2, 6번.

이전: Lecture 1 · 전체 목차 · 다음: Lecture 3