Notice
Recent Posts
Recent Comments
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 코로나19
- 중국증시
- 뇌졸중
- 중국경제
- WTI
- 머신러닝
- 국제유가
- 금리인상
- 기업분석
- 엘론 머스크
- 지엔티파마
- 주가분석
- Python
- 주식투자
- 테슬라
- 반려견치매
- 퀀트
- 경제위기
- 스크리닝
- prometheus
- 아모레퍼시픽
- DSP
- 미국금리
- 제다큐어
- 유상증자
- 마법공식
- WTI유
- 뉴지스탁
- FOMC
- 넬로넴다즈
Archives
- Today
- Total
목록ReLU (1)
Data Analysis for Investment & Control
ReLU(Rectified Linear Unit)
CNN의 발전 과정에 있으면서 Deep Neural Network의 Weight Update의 Vanishing/Exploding 이슈를 해결할 목적으로 도입된 Activation Function의 한 종류이다. Sigmoid나 Hyperbolic Tangent와 달리 |x| 가 큰 값일 경우에 미분 값이 0으로 수렴하는 단점이 없고 수식 구현이 간단하기 때문에 많이 사용된다. 수식은 다음과 같으며, 위의 함수를 그래프로 표시하면 아래와 같다. Geoffrey E. Hinton 교수에 의해 제안되었다고 알려져 있으며 다음은 그 내용이 수록된 논문이다.
MachineLearning/Classification
2018. 9. 14. 01:11