Deep Learning10 [Coursera] DL Specialization C3 Summary * 이 글은 Stanford University의 Andrew Ng 교수님이 Coursera에서 강의하신 Deep Learning Specialization을 정리한 노트입니다. 2022. 8. 30. Activation Functions and Their Derivatives(Sigmoid, tanh, ReLU, LeakyReLU) 비선형 함수를 사용하는 이유, 활성화 함수의 미분 Non-Linear Activation Function 먼저, 활성화 함수를 사용하는 이유는 네트워크에서 다음 뉴런의 사용 여부를 결정하기 위함입니다. 이는 해당 노드가 사용자의 목적에 맞는 정보를 제공하는지 판단하는 과정이라고 해석할 수 있습니다. 그렇다면 이 판단 과정에 꼭 비선형 함수를 사용해야 하는 이유는 무엇일까요? 비선형 활성화 함수를 사용하는 것은 층을 깊게 하는 의미가 있습니다. 이때 선형 활성화 함수를 사용한다면, 여러 층을 쌓은 것은 효용이 없습니다. 선형함수인 h(x) = ax를 활성화 함수로 3-Layer NN를 구성할 경우, y(x) = h(h(h(x))) = a*a*ax입니다. 이 때 a^3을 b로 치환할 경우 y(x) = bx로, 한 층을 쌓은 선형 함수의 형태와 같게 됩니다... 2022. 8. 27. [Coursera] DL Specialization - Backpropagation Exercise * 이 글은 Stanford University의 Andrew Ng 교수님의 Deep Learning Specialization 강의 중 C1W3L05, C1W3L10의 Backpropagation 수식을 유도해 본 노트입니다. 2022. 8. 26. Self-Supervised Learning * 이 글은 Goorm NLP 과정에서 진행한 KAIST 주재걸 교수님의 강의를 정리한 노트입니다. 2022. 8. 25. GAN * 이 글은 Goorm NLP 과정에서 진행한 KAIST 주재걸 교수님의 강의를 정리한 노트입니다. 2022. 8. 24. RNN, LSTM, GRU * 이 글은 Goorm NLP 과정에서 진행한 KAIST 주재걸 교수님의 강의를 정리한 노트입니다. ** LSTM 부분은 Christopher Olah의 포스팅을 추가로 참고하였습니다. 2022. 8. 19. CNN Case-Study(LeNet-5, AlexNet, VGG-Network, GoogLeNet, ResNet) * 이 글은 Goorm NLP 과정에서 진행한 KAIST 주재걸 교수님의 강의를 정리한 노트입니다. 2022. 8. 19. CNN * 이 글은 Goorm NLP 과정에서 진행한 KAIST 주재걸 교수님의 강의를 정리한 노트입니다. 2022. 8. 18. Sigmoid, Softmax, Tanh, ReLU, Batch Normalization, Gradient Descent, Adagrad, RmsProp, Adam, Learning Rate, Ensemble, L1 and L2 Regularization, Dropout, Augmentation * 이 글은 Goorm NLP 과정에서 진행한 KAIST 주재걸 교수님의 강의를 정리한 노트입니다. 2022. 8. 17. 이전 1 2 다음
Sigmoid, Softmax, Tanh, ReLU, Batch Normalization, Gradient Descent, Adagrad, RmsProp, Adam, Learning Rate, Ensemble, L1 and L2 Regularization, Dropout, Augmentation
* 이 글은 Goorm NLP 과정에서 진행한 KAIST 주재걸 교수님의 강의를 정리한 노트입니다.
2022. 8. 17.
