Modern Natural Language Processing

• Transformer
• BERT (Bi-directional Encoder)
• GPT (Generative Pre-trained Transformer)
• Hugging Face
  
  

 

Hugging Face 와 같이 pre-trained model 쓸 때:

• 그대로 쓴다
• learning rate 낮춰서 이어서 training 한다
• layer fmf cnrkgksek
• 가지고 있는 데이터가 충분할 경우 처음부터 다시 트레이닝한다