热门
最新
红包
立Flag
投票
同城
我的
发布
随手记:
相对熵=KL散度,描述了两个概率分布间的相对大小
如果两个分布完全相同,则相对熵为0
相对熵+目标函数本身的熵=交叉熵
由于目标函数本身的熵是固定的,因此在训练网络时,选择交叉熵作为损失函数与相对熵等同
https://finisky.github.io/2020/07/09/crossentropyloss/
nllloss,negative log likelihood loss 负对数似然损失函数,常用于分类问题中,是CrossEntropyLoss的其中一个吧步骤
NLLloss+log+softmax=CrossEntropyLoss
https://pytorch.org/docs/stable/generated/torch.nn.NLLLoss.html
https://zhuanlan.zhihu.com/p/570118948
CSDN App 扫码分享
评论
点赞
打赏
- 复制链接
- 举报