[머신러닝 앤드류응] (Week3) 2. Logistic Regression Model (2) 단순화된 비용함수와 경사하강법

앤드류 응 교수님의 코세라 머신러닝 강의를 요약하는 글입니다. Week3 의 상세 목차는 아래와 같습니다.

Week3 목차

1. Classification and Representation (분류와 설명?)
2. Logistic Regression Model (로지스틱 회귀 모델)
3. Multiclass Classification (다항 분류)
4. Solving the Problem of Overfitting (과적합 문제 해결)

 

이번 글은 Week3의 1강인 Classification and Representation (분류와 설명?) 요약입니다.

 

2. Logistic Regression Model

(1) Cost Function
(2) Simplified Cost Function and Gradient Descent
(3) Advanced Optimization

---

(2) 단순화된 비용함수와 경사하강법

 

로지스틱 회귀분석을 위해 새로 정의한 비용함수는 아래와 같습니다. 회귀분석의 비용함수를 그대로 사용하면 convex가 되지 않아 해를 찾기가 어려웠고, 이를 해결하기 위해 도입한 형태의 함수입니다. 

 

 y가 0일 때와 1일 때로 나뉘어 있는데요. 이 식을 하나로 합칠 수 있습니다. 

 

 

합치기 전의 개별비용함수는 아래와 같습니다. 

 

$Cost \left(h_{theta}(x),y \right)=\begin{Bmatrix}
-\log(h_{\theta}(x)) &if \ y=1 \\ 
-\log(1-h_{\theta}(x)) & if \ y=0
\end{Bmatrix}$

 

아래와 같이 합칠 수 있습니다. 

 

$Cost \left(h_{theta}(x),y \right)=-y\log(h_{\theta}(x))-(1-y)\log(1-h_{\theta}(x))$

 

y에 0을 넣으면 두번째 항만 남고, y에 1을 넣으면 첫번째 항만 남습니다. 따라서 둘을 합치기 전과 결과가 같습니다. 

 

위 개별비용함수를 적용하여 구한 비용함수는 아래와 같습니다.

 

$\begin{align}J(\theta)&=\frac{1}{m}\sum_{i=1}^{m}Cost(h_{\theta}(x^{i}),y^{i}) \\
&=-\frac{1}{m}\left [ \sum_{i=1}^{m}y^{i} \log h_{\theta}(x^{i})+(1-y^{i}) \log (1-h_{\theta}(i^{i}))   \right ]
\end{align}$

 

이제 경사하강법을 적용해야합니다. 

 

 

$\theta$ 로 편미분한 결과는 아래와 같습니다. 선형회귀에서와 동일한 형태입니다.