반응형
learning rate (hyperparameter 중 하나)
batch 가 너무 작으면 local minima에 stuck하지 않게 됨
큰 batch는 하나로 converge되지 않아서 올바른 해결책이 되지 않을 수 있음
learning rate가 크면 최적의 답을 건너 뛸 수 있음
learning rate가 작으면 training time 이 증가하게 됨
반응형
'1차완료 > ML' 카테고리의 다른 글
| measuring models (0) | 2024.01.18 |
|---|---|
| Neural Network Regularization (0) | 2024.01.18 |
| Modern Natural Language Processing (0) | 2024.01.18 |
| CNN, RNN (0) | 2024.01.18 |
| Deep Learning 101 (0) | 2024.01.18 |