[Book] 10. 인공 신경망 소개(퍼셉트론, 헤비사이드, 헤브 규칙)

Book Title : Hands-On Machine Learning with Scikit-Learn, Keras & TF

지은이 : 오렐리아 제롱

옮긴이 : 박해선 

출판사 : 한빛미디어

코드 출처

https://github.com/rickiepark/handson-ml2

GitHub - rickiepark/handson-ml2: 핸즈온 머신러닝 2/E의 주피터 노트북

---

10 .케라스를 이용한 인공 신경망 소개 (퍼셉트론, 헤비사이드 계단 함수, 헤브 규칙)

퍼셉트론

• 가장 간단한 인공 신경망 구조 중 하나
• 퍼셉트론에서 가장 널리사용되는 함수는 헤비사이드 계단 함수
• TLU(Threshold Logic Unit) : 퍼셉트론의 다른 이름

헤비사이드 계단 함수

• 단위 계단함수(unit step function)라고도 불림
• 0보다 작은 실수에 대해서는 0으로, 0보다 큰 실수에 대해서는 1, 0에 대해서는 1/2의 값을 갖는 함수

헤브의 규칙, 헤브 학습

• 생물학적 뉴런이 다른 뉴런을 활성화시킬 때 이 두 뉴런의 연결이 더 강해진다고 제안
• '서로 활성화되는 세포가 서로 연결된다', 즉 두 뉴런이 동시에 활성화될 때마다 이들 사이의 연결 가중치가 증가하는 경향이 있음

Q. 역전파란? 어떻게 작동하는가?

역전 파는 인공 신경망을 훈련시키는 하나의 기법임
먼저 모델의 모든 파라미터에 대한 비용 함수의 그래디언트를 계산하고, 이 그래디언트를 사용해 경사 하강법 스텝을 수행함
역전파 단계는 모델 파라미터가 비용 함수를 최소화하는 값으로 수렴할 떄까지 훈련 배치에서 일반적으로 수천 혹은 수백만 번 수행
그래디언트를 계산하기 위해 역전 파는 후진 모드 자동 미분을 사용함
후진 모드 자동 미분은 계산 그래프의 정방향 계산에서 현재 훈련 배치에 대한 모든 노드의 값을 구하고 역방향 계산에서 모든 그래디언트를 구함