交叉熵损失函数
打开本页，如果没有显示公式，请刷新页面。
此内容为《机器学习数学基础》7.4 相对熵和交叉熵 补充资料。
在研究机器学习或深度学习问题时，损失函数或者代价函数——关于两者的区别，请参阅《机器学习数学基础》中的详细说明——是必不可少的，它们主要用以优化训练模型。目标就是让损失函数最小化，损失越小的模型越好。交叉熵损失函数，就是众多损失函数中重要一员，它主要用与对分类模型的优化。为了理解交叉熵损失函数，以及为什么同时用Softmax作为激活函数，特别撰写本文。
下面我们使用一个图像分类的示例，这个示例中包括狗、猫、马和豹。
如上图所示，以Softmax函数作为激活函数，交叉熵损失函数旨在度量预测值（）与真实值之间的差距，如下图所示。
例如，如果输入图片是狗，其真实值为 ，但通过深度学习模型，得到的预测值为 。我们的目标就是要让输出的预测值与真实值之间尽可能地靠近。在模型训练过程中，将模型权重进行迭代调整，以最大程度地减少交叉熵损失。 权重的调整过程就是模型训练过程，并且随着模型的不断训练和损失的最小化，这就是机器学习中所说的学习过程。
交叉熵的概念起源于信息论，香农（Claude Shannon）在1948年创立了信息论，其中最重要的概念就是信息熵，所以，在学习交叉熵之前，要先了解信息熵——不过，下面仅仅是列出信息熵的基本概念，因为在《机器学习数学基础》一书中，有专门章节讨论信息熵的有关知识。
熵
随机变量 的熵定义：
关于熵的更多内容，请参阅《机器学习数学基础》（2021年5月，电子工业出版社出版）。
交叉熵损失函数
交叉熵损失函数，也称为对数损失或者logistic损失。当模型产生了预测值之后，将对类别的预测概率与真实值（由 或 组成）进行不比较，计算所产生的损失，然后基于此损失设置对数形式的惩罚项。
在训练模型的时候，使用交缠上损失函数，目的是最小化损失，即损失越小的模型越好。最理想的就是交叉熵损失函数为 。
定义
其中， 是类别的数量， 是某个类别的真实值， 是该了别的预测概率。
一般情况下，取以 为底的对数进行计算。
二分类交叉熵损失函数
对于二分类问题，由于分类结果服从伯努利分布（参阅《机器学习数学基础》），所以二分类交叉熵损失函数定义为：
定义
其中， 是某类别的真实值，取值为 或 ； 为某类别的预测概率。
在二分类问题中，通常计算所有样本的平均交叉熵损失：
其中， 为样本数量， 为第 个样本的真实类别值， 为相应样本的预测概率。
以前面提到的图片识别为例， 表示预测结果， 表示真实标签，如下图所示。
根据上面的数据，计算两者之间的交叉熵：
在神经网络中，所使用的Softmax函数是连续可导函数，这使得可以计算出损失函数相对于神经网络中每个权重的导数（在《机器学习数学基础》中有对此的完整推导过程和案例，读者可以理解其深层含义，请参阅）。这样就可以相应地调整模型的权重以最小化损失函数（模型输出接近真实值）。
假设经过权重调整之后，其输出值变为：
用上面方法，可以容易计算出，这次交叉熵损失比原来小了。
在Keras（一种高级神经网络接口，Google的TensorFlow在其核心库中已经支持Keras[2]）中提供了多种交叉熵损失函数：
- 二分类
- 多分类
- 稀疏类别
关于交叉熵损失函数的更多内容，建议参阅《机器学习数学基础》中的详细说明，本书于2021年5月由电子工业出版社出版。
参考文献
[1]. 齐伟.机器学习数学基础.北京：电子工业出版社，2021
[2]. https://zh.wikipedia.org/wiki/Keras
[3]. https://towardsdatascience.com/cross-entropy-loss-function-f38c4ec8643e
作者: 老齐
链接: http://math.itdiffer.com/07-01.html
来源: 机器学习
本文原创发布于「机器学习」,转载请注明出处,谢谢合作!
