[ML] 경사하강법 - 편미분

- 2개의 매개변수를 가지고 있는 경우라면, 미분이 아니라 편미분을 활용해야함

 

 

- 머신러닝에 나오는 최적화 문제에는 매개변수의 개수만큼 변수가 있으므로 목적함수가 다변수 함수의 형태로 등장

 

 

- 매개변수가 여러 개라면, 각각의 매개변수마다 기울기와 움직임이 다름

• 따라서 다변수 함수를 미분할 때는 미분할 변수에만 주목하고 다른 변수는 모두 상수로 취급해서 계산하는 편미분 사용

 

 

- 합성함수의 미분

• 합성함수 : 여러 개의 함수가 조합된 것

• f(g(x))의 미분

 

 

- 갱신식을 위한 목적함수의 매개변수 편미분 과정

x : 임의의 광고비, y : 노출 횟수

• 이와 같은 방식으로 다항식의 차수를 늘린 함수를 사용하는 것을 다항식 회귀라고 함
• 이를 일반화하여 표기하면

맨 마지막 xj(i) → x(i)^j

 

 

- 이러한 방식의 경사하강법은 모든 학습 데이터의 개수만큼 반복해야함 → 시간과 컴퓨팅 파워가 많이 소모

• 이후 딥러닝을 통해 경사하강법의 단점 보완, 장점 극대화