[머신러닝 앤드류응] (Week3) 2. Logistic Regression Model (1) Cost Function

앤드류 응 교수님의 코세라 머신러닝 강의를 요약하는 글입니다. Week3 의 상세 목차는 아래와 같습니다.

Week3 목차

1. Classification and Representation (분류와 설명?)
2. Logistic Regression Model (로지스틱 회귀 모델)
3. Multiclass Classification (다항 분류)
4. Solving the Problem of Overfitting (과적합 문제 해결)

 

이번 글은 Week3의 1강인 Classification and Representation (분류와 설명?) 요약입니다.

 

2. Logistic Regression Model

(1) Cost Function
(2) Simplified Cost Function and Gradient Descent
(3) Advanced Optimization

---

(1) Cost Function

 

선형회귀분석의 비용함수(cost function)은 아래와 같습니다. 

 

$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}\frac{1}{2}\left ( \theta^{T}x^{(i)}-y^{(i)})  \right )^2$

 

개별적인 비용은 아래와 같이 놓을 수 있습니다. 

 

$Cost(h_{\theta}(x),y)=\frac{1}{2}\left (\theta^{T}x-y  \right )^2$

 

위 함수는 convex함수입니다. 아래로 볼록 함수라는 말입니다. 

 

위 개별비용을 로지스틱 회귀분석에 적용하면 아래와 같습니다. 

 

$Cost(h_{\theta}(x),y)=\frac{1}{2}\left (\frac{1}{1+e^{\theta^{T}x}}-y  \right )^2$

 

 문제가 있습니다. convex가 아니라서 최소값을 구하기가 어렵습니다. 

 

 

이를 해결하기 위해 다른 형태의 함수를 도입해야 하는데요. cost를 아래와 같이 변형했습니다. 

 

 

이렇게 변형해도, cost의 의미를 그대로 갖습니다.  y는 0과 1만 가질 수 있는 상황이고, y가 1이라면 $h_{\theta}(x)$가 1에 가까워질 수록 cost는 작아져야 합니다. 반면 y가 0이라면, $h_{\theta}(x)$가 0에 가까워질 수록 cost는 작아져야 합니다. 위 함수에 적용해보면 성립하는 것을 알 수 있습니다. 

 

 

위와 같이 변형하면, cost의 의미도 유지되고. 경사하강법을 하기 위해 $\theta$로 편미분 했을 때, 선형회귀때와 동일한 수식을 얻습니다.