[혼공머신] Chapter 04 다양한 분류 알고리즘

04-1 로지스틱 회귀

---

Multi-class Classification (다중 분류)

target data에 2개 이상의 class가 포함된 문제

---

Logistic Regression (로지스틱 회귀)

이름은 regression이지만 classification model
linear regression과 동일하게 linear equation을 학습

1. 이진 분류
   • sigmoid function 사용
     • $\phi = \frac{1}{1+e^{-z}}$
     • z값이 음의 무한대로 갈수록 0에 수렴
     • z값이 양의 무한대로 갈수록 1에 수렴
2. 다중 분류
   • softmax function 사용
     • $s_n = \frac{e^{z_n}}{\sum e^{z_i}}$
     • 여러 개의 선형 방정식의 출력값을 0~1 사이로 압축하고 전체 합을 1로 만듦
     • 지수함수를 사용하기 때문에 '정규화된 지수 함수'라고도 부름

04-2 확률적 경사 하강법

---

점진적 학습

앞서 훈련한 모델을 버리지 않고 새로운 data에 대해서만 조금씩 더 훈련하는 방식

---

Stochastic Gradient Descent (확률적 경사 하강법)

• 훈련 방법
  1. train set에서 random하게 하나의 sample을 선택하여 가파른 경사를 조금 내려감
     • Minibatch Gradient Descent (미니배치 경사 하강법)random한 몇 개의 샘플을 선택하여 경사를 조금 내려감
     • Batch Gradient Descent (배치 경사 하강법)경사를 조금 내려가기 위해 전체 샘플을 한 번에 사용
  2. train set에서 또 다른 sample을 하나 선택하여 가파른 경사를 조금 내려감
  3. 같은 방식으로 전체 sample을 모두 사용할 때 까지 반복
     • train set을 한 번 모두 사용하는 과정 = epoch(에포크)
     • 일반적으로 수십, 수백 번 이상의 epoch를 수행

---

Loss Function (손실 함수)

어떤 문제에서 머신러닝 알고리즘이 얼마나 엉터리인지를 측정하는 기준

• 종류
  1. Logistic Loss Function (로지스틱 손실 함수)
     • binary classification에서 사용
     • (= Binary Cross-entropy Loss Function)
  2. Cross-entropy Loss Function
     • multi-class classification에서 사용
  3. Mean Squared Error (평균 제곱 오차)
     • regression에서 사용