고급 선형 대수: Strang 교재와 MIT 18.065 전체 목차

Linear Algebra and Learning from Data의 7개 Part, 47개 절을 MIT 18.065의 Lecture 1–36과 연결한 학습 목차입니다.

Gilbert Strang의 교재와 MIT 강의를 함께 읽으며 선형대수에서 데이터 분석과 학습으로 이어지는 내용을 정리합니다. 강의 순서대로 읽을 수 있는 글과, 교재의 빠진 부분을 채우는 보완 글을 연결해 나갈 예정입니다.

현재 작성된 글은 Lecture 1: 열공간과 랭크, A = CR 분해입니다. 아래에서 “예정”으로 표시한 항목은 앞으로 작성할 목차입니다. 강의 링크는 MIT 원자료로 연결됩니다.

사용하는 책과 강의

구분 자료
교재 Gilbert Strang, Linear Algebra and Learning from Data, Wellesley-Cambridge Press, 2019, ISBN 978-0-692-19638-0
교재 범위 Part I–VII, 47개 절. 아래 교재 목차에 절 번호와 시작 쪽수를 표시합니다.
강의 MIT 18.065, Spring 2018 — Matrix Methods in Data Analysis, Signal Processing, and Machine Learning
대응표 MIT 공식 강의별 읽기 목록과 개별 강의 페이지
연습문제 18.065 All problem sets in one file

교재의 쪽수는 인쇄쪽수를 사용합니다. 스캔본은 한 PDF 페이지에 책의 두 쪽이 들어 있어 PDF 뷰어의 페이지 번호와 다릅니다. 읽기 목록에는 2018년으로 소개되어 있지만, 이 시리즈는 제공된 책의 판권면과 저자 공식 사이트에서 확인한 2019년판을 기준으로 삼습니다.

강의는 36회로 구성되며 28·29강은 녹화 영상이 없는 수업 중 실습입니다. 두 회차는 공식 일정과 공개된 실습·교재 자료를 기준으로 다룹니다. MIT 영상 목록과 공식 일정에서 이 구분을 확인할 수 있습니다.

Lecture 1–36 목차

아래 절 번호는 기본적으로 MIT의 공식 읽기 배정입니다. 강의 순서와 책의 순서가 항상 같지는 않습니다. “보완 읽기”는 이 시리즈에서 제안하는 연결이며, 공식 배정과 구별합니다.

회차 강의 주제와 원강의 링크 교재의 Part·절 정리 글
1 열공간과 Ax I.1; 강의 후반 연결 I.2 작성 완료
2 행렬곱과 행렬 분해 I.2 예정
3 정규직교 열과 Q의 성질 I.5 예정
4 고유값과 고유벡터 I.6 예정
5 양의 정부호와 준정부호 I.7 예정
6 특잇값 분해 I.8 예정
7 최적 저랭크 근사 I.9 예정
8 벡터와 행렬의 노름 I.11 예정
9 최소제곱 문제의 네 접근 II.2 예정
10 선형시스템 계산의 어려움 Part II 도입, pp. 113–114 예정
11 선형 제약 아래 최소 노름 I.11 예정
12 고유값·특잇값의 수치 계산 II.1 예정
13 무작위화 행렬곱 II.4 예정
14 저랭크 수정과 역행렬 III.1 예정
15 시간에 따라 변하는 행렬 III.1–III.2 예정
16 역행렬과 특잇값의 미분 III.1–III.2 예정
17 빠르게 감소하는 특잇값 III.3 예정
18 분해의 매개변수 수와 안장점 III.2; 보완 읽기 p. 419 예정
19 안장점과 최대·최소 원리 III.2, V.1 예정
20 확률의 정의와 부등식 V.1, V.3 — 개별 강의 페이지 기준 예정
21 함수 최소화의 단계별 접근 VI.1, VI.4 예정
22 경사하강법 VI.4 예정
23 모멘텀과 가속 VI.4 예정
24 선형계획과 2인 게임 VI.2–VI.3 예정
25 확률적 경사하강법 VI.5 예정
26 심층 신경망의 구조 VII.1 예정
27 역전파와 편미분 VII.3 예정
28 수업 중 실습 — 영상 없음 VII.2 공개 자료 기반 정리 예정
29 수업 중 실습 계속 — 영상 없음 공식 지정 절 없음; 보완 읽기 VII.2 공개 자료 기반 정리 예정
30 랭크 1 행렬 완성과 순환행렬 IV.8, IV.2 예정
31 순환행렬의 고유벡터와 푸리에 행렬 IV.2 예정
32 ImageNet과 합성곱 연산 IV.2; 보완 읽기 VII.2 예정
33 신경망이 표현하는 학습 함수 VII.1, IV.10 예정
34 거리행렬과 Procrustes 문제 IV.9–IV.10 예정
35 그래프의 군집 찾기 IV.6–IV.7 예정
36 Alan Edelman과 Julia III.3, VII.2 예정

Lecture 20의 절 번호는 통합 읽기 표에서 비어 있지만, 개별 강의 페이지에 V.1과 V.3이 명시되어 있습니다. Lecture 29에는 공식 지정 절이 없으므로 VII.2를 보완 읽기로 연결했습니다. 녹화되지 않은 실습 내용을 추정해 강의 내용이라고 서술하지 않습니다.

교재 47개 절의 전체 목차

쪽수는 각 절의 시작 쪽수입니다. “보완편”은 공식 읽기 배정에서 독립적으로 다뤄지지 않은 절을 따로 정리할 계획이라는 뜻입니다. 해당 행의 강의 링크는 관련 개념으로 이어지는 학습 경로이며, 그 강의가 해당 절 전체를 다룬다는 의미는 아닙니다.

Part I — 선형대수의 핵심

교재의 Part 제목은 Highlights of Linear Algebra입니다. Part 도입은 p. 1입니다.

절 내용 시작 쪽수 연결 강의·글
I.1 열의 선형결합으로 읽는 행렬·벡터 곱 2 Lecture 1 글 · 원강의
I.2 행렬과 행렬의 곱 9 Lecture 2
I.3 네 가지 기본 부분공간 14 보완편 · 1, 3
I.4 소거법과 LU 분해 21 보완편 · 2
I.5 직교행렬과 직교 부분공간 29 3
I.6 고유값과 고유벡터 36 4
I.7 대칭 양의 정부호 행렬 44 5
I.8 SVD의 특잇값과 특이벡터 56 6
I.9 주성분과 최적 저랭크 행렬 71 7
I.10 Rayleigh 몫과 일반화 고유값 81 보완편 · 19
I.11 벡터·함수·행렬의 노름 88 8, 11
I.12 행렬·텐서 분해, 비음수성과 희소성 97 보완편 · 2, 6

Part II — 큰 행렬의 계산

교재의 Part 제목은 Computations with Large Matrices입니다. 도입 pp. 113–114는 Lecture 10에 연결됩니다.

절 내용 시작 쪽수 연결 강의·글
II.1 수치 선형대수 115 12
II.2 최소제곱 문제를 푸는 네 방법 124 9
II.3 열공간의 세 가지 기저 138 보완편 · 3, 9
II.4 무작위화 선형대수 146 13

Part III — 저랭크와 압축 센싱

교재의 Part 제목은 Low Rank and Compressed Sensing입니다. Part 도입은 p. 159입니다.

절 내용 시작 쪽수 연결 강의·글
III.1 행렬의 변화와 역행렬의 변화 160 14, 15, 16
III.2 고유값의 교차 성질과 저랭크 신호 168 15, 16, 18, 19
III.3 빠르게 감소하는 특잇값 178 17, 36
III.4 제곱 손실과 L1 항을 분리하는 알고리즘 184 보완편 · 11, 25
III.5 압축 센싱과 행렬 완성 195 보완편 · 11, 30

Part IV — 특별한 구조의 행렬

교재의 Part 제목은 Special Matrices입니다. Part 도입은 p. 203입니다.

절 내용 시작 쪽수 연결 강의·글
IV.1 이산·연속 푸리에 변환 204 보완편 · 31
IV.2 이동행렬과 순환행렬 213 30, 31, 32
IV.3 Kronecker 곱 221 보완편 · 31, 32
IV.4 Kronecker 합과 사인·코사인 변환 228 보완편 · 31
IV.5 Toeplitz 행렬과 이동 불변 필터 232 보완편 · 32
IV.6 그래프, Laplacian, Kirchhoff 법칙 239 35
IV.7 스펙트럴 군집화와 k-means 245 35
IV.8 랭크 1 행렬 완성 255 30
IV.9 직교 Procrustes 문제 257 34
IV.10 거리행렬 259 33, 34

Part V — 확률과 통계

교재의 Part 제목은 Probability and Statistics입니다. Part 도입은 p. 263입니다.

절 내용 시작 쪽수 연결 강의·글
V.1 평균, 분산, 확률 264 19, 20
V.2 확률분포 275 보완편 · 20
V.3 모멘트·누적량과 통계 부등식 284 20
V.4 공분산행렬과 결합확률 294 보완편 · 20
V.5 다변량 정규분포와 가중 최소제곱 304 보완편 · 9, 20
V.6 Markov 연쇄 311 보완편 · 20, 35

Part VI — 최적화

교재의 Part 제목은 Optimization입니다. Part 도입은 pp. 321–323입니다.

절 내용 시작 쪽수 연결 강의·글
VI.1 볼록성, 최소화, Newton 방법 324 21
VI.2 Lagrange 승수와 비용의 변화율 333 24
VI.3 선형계획, 게임이론, 쌍대성 338 24
VI.4 경사하강법과 가속 344 21, 22, 23
VI.5 확률적 경사하강법과 ADAM 359 25

Part VII — 데이터에서 학습하기

교재의 Part 제목은 Learning from Data입니다. Part 도입은 pp. 371–374입니다.

절 내용 시작 쪽수 연결 강의·글
VII.1 심층 신경망의 구성 375 26, 33
VII.2 합성곱 신경망 387 28·29 실습 일정, 36; 보완 연결 32
VII.3 역전파와 연쇄법칙 397 27
VII.4 하이퍼파라미터 선택 407 보완편 · 25, 26
VII.5 머신러닝의 여러 접근 413 보완편 · 33

서문과 본편 뒤의 자료

책의 도입과 참고 자료도 관련 글에 연결합니다. 아래 강의 연결은 학습을 위한 보완 경로입니다. 색인과 서지는 참고 자료로 사용합니다.

교재 위치 내용 연결 강의
pp. iii–v, vi–x 딥러닝 소개와 서문 1, 26
p. 416 머신러닝 참고 도서 33
p. 417 랭크 1 행렬의 고유값·특잇값 4, 6
p. 418 수치 선형대수의 코드와 알고리즘 12
p. 419 기본 분해의 매개변수 수 18
pp. 420 이후 저자·주제·기호 색인 필요한 개념을 찾을 때 활용

각 글의 구성

각 정리 글의 처음에는 책의 Part·절 번호·제목·인쇄쪽수와 개별 강의 링크를 표시합니다. 이어서 개념과 필요한 가정, 예제, 정리와 증명, 지정 연습문제, 계산 확인, 복습 질문을 배치합니다. 강의에 없는 보완 설명과 직접 만든 예제는 따로 표시합니다.

교재와 강의의 내용은 서로 보완하지만 분량과 순서는 다릅니다. 강의별 글과 교재 보완편을 함께 작성해, 한쪽에서 생략된 내용을 다른 쪽의 설명으로 연결할 계획입니다.

참고 자료

Lecture 1 읽기 · 고급 선형 대수 글 목록