热门
最新
红包
立Flag
投票
同城
我的
发布
Sigmod & Softmax
Sigmoid =多标签分类问题=多个正确答案=非独占输出（例如胸部X光检查、住院）。构建分类器，解决有多个正确答案的问题时，用Sigmoid函数分别处理各个原始输出值。
Softmax =多类别分类问题=只有一个正确答案=互斥输出（例如手写数字，鸢尾花）。构建分类器，解决只有唯一正确答案的问题时，用Softmax函数处理各个原始输出值。Softmax函数的分母综合了原始输出值的所有因素，这意味着，Softmax函数得到的不同概率之间相互关联。
总结
如果模型输出为非互斥类别，且可以同时选择多个类别，则采用Sigmoid函数计算该网络的原始输出值。
如果模型输出为互斥类别，且只能选择一个类别，则采用Softmax函数计算该网络的原始输出值。
Sigmoid函数可以用来解决多标签问题，Softmax函数用来解决单标签问题。[1]
对于某个分类场景，当Softmax函数能用时，Sigmoid函数一定可以用。
经验：
对于NLP而言，这两者之间确实有差别，Softmax的处理方式有时候会比Sigmoid的处理方式好一点。
对于CV而言，这两者之间也是有差别的，Sigmoid的处理方式有时候会比Softmax的处理方式好一点。
两者正好相反，这只是笔者的实验经验，建议大家两者都试试。
Softmax函数和Sigmoid函数的区别与联系 - 初识CV的文章 - 知乎
https://zhuanlan.zhihu.com/p/356976844
CSDN App 扫码分享
评论
点赞
打赏
- 复制链接
- 举报
下一条：
绵阳米粉YYDS，哈哈哈，爽
