Deep Learning/Fundamental (1) 썸네일형 리스트형 [스터디/2019] Survey of Activation Functions A. Activation Function이 가져야 할 바람직한 속성 Nonlinear activation function이 비선형(nonlinear)인 경우, 2개의 layer를 가진 신경망은 universal function approximator가 된다는 것이 증명됨(https://pdfs.semanticscholar.org/05ce/b32839c26c8d2cb38d5529cf7720a68c3fab.pdf). identity function은 선형이기 때문에 이러한 속성을 만족하지 못함. 여러 개의 layer들이 identity function을 사용하는 경우, 전체 network는 하나의 layer를 가진 model과 동일하게 됨. 참고: universal approximation theorem 한.. 이전 1 다음
