随手记：相对熵=KL散度，描述了两个概率分布间的相对大小如果两个分布完全相同，则相对熵为0相对熵+目标函数本身的熵=交叉熵由于目标函数本身的熵是固定的，因此在训练网络时，选择交叉熵作为损失函数与相对熵等同https://finisky.github.io/2020/07/09/crossentropyloss/nllloss，negative log likelihood loss 负对数似然损失函数，常用于分类问题中，是CrossEntropyLoss的其中一个吧步骤NLLloss+log+softmax=CrossEntropyLosshttps://pytorch.org/docs/stable/generated/torch.nn.NLLLoss.htmlhttps://zhuanlan.zhihu.com/p/570118948