[机器学习] 信息熵、交叉熵、KL散度、JS散度、Wasserstein距离

参考：https://blog.csdn.net/Dby_freedom/article/details/83374650
参考：https

文章目录

• • 1. 什么是熵(Entropy)？
  • • 交叉熵和对数似然之间的关系？
    • • 🍇 对数似然
      • 🍇 交叉熵损失函数
  • 2. 如何衡量两个事件/分布之间的不同（一）：KL散度
  • 3. KL散度 = 交叉熵 - 熵？
  • 4. 为什么交叉熵可以用作代价？
  • 5. JS散度（对称）值域[0,1]
  • 6. Wasserstein距离

1. 什么是熵(Entropy)？

信息熵