반응형
- Transformer
- BERT (Bi-directional Encoder)
- GPT (Generative Pre-trained Transformer)
- Hugging Face
Hugging Face 와 같이 pre-trained model 쓸 때:
- 그대로 쓴다
- learning rate 낮춰서 이어서 training 한다
- layer fmf cnrkgksek
- 가지고 있는 데이터가 충분할 경우 처음부터 다시 트레이닝한다
반응형
'1차완료 > ML' 카테고리의 다른 글
| Neural Network Regularization (0) | 2024.01.18 |
|---|---|
| Tuning Neural Networks (0) | 2024.01.18 |
| CNN, RNN (0) | 2024.01.18 |
| Deep Learning 101 (0) | 2024.01.18 |
| SageMaker Ground Truth (0) | 2024.01.18 |
