权重衰退

简单地说，就是在损失函数中对权重进行惩罚

使用均方范数作为硬件限制

使用均方范数作为柔性限制

演示

参数更新法则

总结

丢弃法

动机

无偏差的加入噪音

使用丢弃法

推理中的丢弃法

总结

数值稳定性

神经网络的梯度

数值稳定性的常见两个问题

例子

  • 梯度爆炸
  • 梯度消失

总结