Neural Network Regularization

정규화 목적: overfitting 방지

 

 

너무 많은 layer/neuron 이 있을 경우:

• dropout
• early stopping

 

 

gradient checking

 

 

L1, L2

• L1: weight 의 합, feature selection, sparse output
• L2: weight 제곱의 합, all features, dense output
• L1보다 L2가 computationally efficient 하지만 L1이 sparsity로 극복 할 수도
• L1이 오히려 feature selection 해서 dimensionality를 줄일 수 있