되돌아보는 챕터 6

* 회귀 분석 linear regression 

: 데이터를 잘 표현하는 직선의 방정식 구하기

   - 평균, 중앙값 등의 다양한 방법의 대표값 존재

   - 이때 직선을 이용하여 점들에서 수직선 까지의 거리의 합이 제일 적게

  

위와 같은 원리로 나누기에 이용한다. 직선을 기준으로 class가 나눠지고, 속한 클래스가 clear하게 분리될 수 있도록

 

 

* logistic regression 

위 개념이 확장된 것이다.

   - hyperplane : 차수 낮춰 plane 을 기준으로 나누기

 

---

 

* epoch 

(에폭) :  전체 데이터 셋에 대해 한 번의 학습 과정이 완료되는것을 의미한다.

만약 epochs = 30이라면 전체 데이터를 30번 사용해서 학습을 거치는 것을 의미한다.

모델을 만들 때 적절한 epoch 값을 설정해야 한다. 만약 epoch값이 너무 작다면 underfitting이 발생할 수 있고, epoch 값이 너무 크다면 overfitting 이 발생할 확률이 높다.

 

* batch 

: 묶음.

묶어서 처리하는 것을 의미한다.

수행 시킬 명령어의 묶음이다.

배치 프로그램 -> 매크로 와 같이 잘못이해할 수 있다. 이 또한 맞는 말 이지만, batch 자체의 의미는 '묶음'을 의미한다.

이 묶음을 자동으로 수행하게 하는 것이 매크로와 같은 배치 프로그램이다. 

 

Training for three epochs

일 처리 단위 batch로 묶어서 일을 진행한다.

training 시키는 과정에는 parameter가 많아서 한번에 계산을 못한다. 이럴 때 batch = k 로 나눠서 그 단위에 따라 일을 처리한다.

통계학의 sampling 처럼 전체를 대표한다고 본다.

 

따라서 연구를 진행할 때,

batch 의 크기를 몇으로 잡아야 할 지? hypoparameter 를 어떻게 만들어야 될 지?

등의 질문에 답하는 과정을 연구 진행 시 거치게 된다.

 

 

---

 

* Flat 

위 과정에서 flat 이란?

linear regression을 사용하기 위해서 일차원으로 하는 것을 의미한다.

 

 

* activation function 

classify.

어떤 값 이상-> 좋다 / 어떤 값 이하 -> 안좋다 와 같이,

어떤 값이 왔을 때 threshold 보다 크면 / 작으면 으로 나눈다

주로 threshold = 0.5 로 사용된다.

시그모이드 함수가 대표적인 예시이다.

차수를 줄이기 위한 노력 중의 하나이다.

the ReLU activation function

위와 같은 activation function에서 x값이 0 이하인 것은 무시된다고 할 수 있다. 모두 0 값으로 처리한다.

반면, x값이 0 이상인 경우만 다음 값으로 넘긴다.

 

 

 

 

+ 더 알아볼 것

hyperplane

epoch

batch

activation function

 

 

다음 숙제

7장 읽고, 공부하고, 실습 진행하기

파이썬을 알면 CNN, 멀티 n-gram 모델 생성 등의 전체과정을 따라가볼수 있는 짧은 튜토리알 공부하기