선형회귀를 위한 경사하강법 (Gradient Descent For Linear Regression)

앞선 포스트에서 정리하였던 것과 같이 경사하강 알고리즘은 비용함수를 미분하여 경사를 획득하고 이 경사값을 따라 진행해가며 그 값이 수렴할 때까지 반복하는 것입니다.

이를 수식으로 표현하면 아래와 같이 요약됩니다.

$\theta_j := \theta_j - \alpha \frac{\partial}{\partial \theta_j} J(\theta_0, \theta_1)$

선형회귀의 경우에 대해서 구체적으로 이를 적용해 보도록 하겠습니다.이를 위하여 비용함수와 가설함수를 선형회귀의 비용함수와 가설함수로 교체하도록 합니다.

우선 선형회귀의 비용함수는 다음과 같습니다.

$J(\theta_0, \theta_1) = \dfrac {1}{2m} \displaystyle \sum _{i=1}^m \left ( \hat{y}_{i}- y_{i} \right)^2 = \dfrac {1}{2m} \displaystyle \sum _{i=1}^m \left (h_\theta (x_{i}) - y_{i} \right)^2$

이를 경사하강법 수식에 적용을 하면 다음과 같습니다.

$\theta_j := \theta_j - \alpha \frac{\partial}{\partial \theta_j}\frac {1}{2m} \displaystyle \sum _{i=1}^m \left (h_\theta (x_{i}) - y_{i} \right)^2$

다음으로 선형회귀에서의 가설은

$h_\theta (x_{i}) = \theta_0 + \theta_1x_i$

입니다.

역시 이를 경사하강법 수식에 적용하면 우리는 아래의 수식을 얻게 됩니다.

$\theta_j := \theta_j - \alpha \frac{\partial}{\partial \theta_j}\frac {1}{2m} \displaystyle \sum _{i=1}^m \left (\theta_0 + \theta_1 x_i- y_{i} \right)^2$

이제 $\theta_0$ 과 $\theta_1$ 에 대하여 각각 편미분 하여 수식을 나누어 보면 다음과 같이 새로운 형태의 경사하강법 수식을 얻게 됩니다.

$θ_0:=θ_0−α\frac{1}{m}∑\limits_{i=1}^{m}(h_θ(x_i)−y_i)\newline θ_1:=θ_1−α\frac{1}{m}∑\limits_{i=1}^{m}((h_θ(x_i)−y_i)x_i)$

여기서 m은 훈련집합의 크기 입니다. $\theta_0$ 과 $\theta_1$ 는 동시에 갱신해야 하는 상수값 입니다. $x_{i}$, $y_{i}$ 는 주어진 훈련 데이터의 값입니다.

기존의 $\theta_j$​에 대한 비용함수 수식을 $\theta_0$​ 과 $\theta_1$​ 의 경우로 나누었습니다. 그리고 $\theta_1$​ 의 경우에는 미분을 하였기 때문에 끝에 $x_{i}$ 가 곱해졌습니다.

일반적인 $\frac {\partial}{\partial \theta_j}J(\theta)$ 에 대한 편미분은 다음과 같습니다.

$\frac {\partial}{\partial \theta_j}J(\theta) = \frac {\partial}{\partial \theta_j}\frac{1}{2}{(h_\theta(x)-y)}^2\newline=2\cdot\frac{1}{2}{(h_\theta(x)-y)}\cdot\frac {\partial}{\partial \theta_j}{(h_\theta(x)-y)}\newline={(h_\theta(x)-y)}\cdot\frac{\partial}{\partial\theta_j}{(\sum_{i=0}^{n}\theta_ix_i-y)}\newline={(h_\theta(x)-y)}x_i$

요점은 만약 우리가 우리의 가설에서 시작하여, 경사 하강 방정식을 반복적으로 적용하면 우리의 가설이 점점 더 정확해질 것이라는 것입니다.

참고 및 출처

Coursera - Machine Learning, Gradient Descent For Linear Regression