[선형대수학] Least squares - Normal Equation 정규방정식

출처 : www.boostcourse.org/ai251

 

 

역행렬이 존재한다면 아래와 같이 정리 할 수 있다.

행렬의 미분 개념이 있지만 (fg)' = f'g + fg' 를 통해 천천히 진행하자.

역행렬이 존재할 경우

 

 

역행렬이 존재하지 않을 경우 해가 무수히 많거나 없다.

명확한 증명은 어렵지만 기하학적(직관적)으로  이해할 수 있다.

 

어느 한 점에서 어느 평면에 수선의 발을 내릴 수 없는 경우가 있을까?

가장 가까운 점은 있을 것이다. 이렇게 직관적으로 항상 해가 존재한다.

수선의 발의 존재 == 해가 있다.

 

역행렬의 존재 유무

매트릭스가 선형독립이면 역행렬이 존재한다.

매트릭스가 선형의존이면 역행렬이 없다.

 

그런데 현실적으로 변수보다 데이터가 많고, 데이터가 많으면 많을 수록 선형의존 확률이 낮아진다.

그래서 대부분의 경우 역행렬이 없는 경우가 없다....

 

 

---