[선형대수학] Least squares 최소자승법

출처 : www.boostcourse.org/ai251

 

Over-determined Linear Systems

(#equations ≫ #variables)

방정식(백터의 차원) > 변수(특징 feature) --> 그래야 구체적인 해를 구할 수 있다.

선형독립의 경우

방정식 개수 >= 변수 개수 일때 해를 구할 수 있다.

반대일 경우 해가 많아진다...

Inner Product 내적

벡터의 원소끼리 곱하여 합.

a) 𝐮∙𝐯=𝐯∙𝐮 교환법칙
b) (𝐮+𝐯)∙𝐰=𝐮∙𝐰+𝐯∙𝐰 분배법칙
c) (𝑐𝐮)∙𝐯=𝑐(𝐮∙𝐯)=𝐮∙(𝑐𝐯) 상수배
d) 𝐮∙𝐮 ≥ 𝟎, and 𝐮∙𝐮 = 𝟎 if and only if 𝐮 = 𝟎

 

Vector Norm 길이. 크기.

피타고라스 정리로 계산. 내적과의 관계도 있다.

𝐮 = [x y]

norm 𝐮^2 = 𝐮∙𝐮 = [x^2 y^2]

 

Unit Vector 단위 벡터

길이가 1인 벡터.

Normalizing : 벡터의 크기로 벡터의 원소를 나누어 주면 된다.

 

 

Distance between Vectors in R𝑛 벡터의 거리

dist(𝐮,𝐯)= (𝐮−𝐯)의 norm

벡터와 벡터의 원소의 차를 구하고 벡터의 길이를 구한다.

 

Inner Product and Angle Between Vectors 내적과 각도

공식

 

Orthogonal Vectors 수직 벡터

cos의 각도를 조절하면 norm 상관 없이 직각이 된다.

 

 

 

이러한 정리로 Mean Squared Error 를 구한다.

그 중 제일 오류가 제일 작은 해가 더 좋은 해가 된다.

 

Least Squares Problem

arg : x의 집합. 해의 집합.

 

Geometric Interpretation of Least Squares

기하학적 의미

벡터의 크기

내적

코싸인 유사도

선형 결합 등 이용하여 동치 관계를 정리할 수 있다.

기하학적 해석

동치관계

 

 

---