[SVD 정복하기] Orientation

Main Reference:
- Gilbert Strang lectures on Linear Algebra (MIT)
- 수학의 즐거움, Enjoying Math

📘 선형대수란?

선형대수를 공부하면 행렬의 진짜 정체는 선형 함수라는 것을 배우게 된다. 열심히 행렬을 공부하지만, 사실은 선형 함수를 다루는 방법에 관해 공부하는 것이다. 이렇게 공부하는 이유는 선형 함수를 행렬로 표현하는 순간, 함수에서의 복잡한 연산(합성)이 단순한 행렬 곱으로 표현되기 때문이다.

선형대수를 공부하는 이유

수학과에서 개설하는 전공 수업을 듣다 보면 이게 수학인지 철학인지 헷갈리는 경우가 있다. 이때 수학과 철학을 가르는 분명한 차이점은 ‘실질적인 계산이 가능한가’의 여부이다. 선형대수에서 말하는 선형성(Linearity) 이란 개념은 실질적인 계산을 하는데 엄청난 편의를 제공해준다. 특히, 무한한 대상을 다룰 때에는 필수적인 개념이다. 하지만 우리가 다루는 대부분의 대상은 선형성을 갖지 못한다. 그래서 강제로 선형성을 갖도록 만드는데 이 과정이 바로 미분 이다. 아래 예시와 같이 우리가 원하는 대상을 수학적으로 다루기 위해서는 선형대수 지식이 반드시 필요하다

Ex) 미분 기하에서 곡면을 다루는 방법.

• 선형이 아닌 함수(곡면)를 선형화하는 작업: 미분
• 선형성을 갖는 대상의 실질적인 계산: 선형대수
• 선형화한 대상을 원래 형태(곡면)로 되돌리는 작업: 적분

📘 시리즈 계획

이번 [SVD 정복하기] 시리즈의 목적은 말 그대로 SVD를 이해하는 것이다. 따라서 선형대수의 전반적인 내용을 다루지는 않고, SVD를 이해하는데 필요한 개념들만 훑어보면서 진행할 계획이다.

Chapter1. Linear Algebra Intro

• Matrix Multiplication
• Basis & Coordinate
• Inner Product

Chapter2. Least Square

• Projection
• Normal Equation
• Least Square

Chapter3. Gram-Schmidt Process

• Orthogonal Matrix
• Gram-Schmidt Process

Chapter4. Spectral Theorem

• Eigen Value & Eigen Vector
• Diagonalization
• Spectral Theorem

Chapter5. Singular Value Decomposition (SVD)

• SVD
• Eckart-Young Theorem

맨 위로 이동하기

Linear Algebra 카테고리 내 다른 글 보러가기