Softmax 函数的特点和作用是什么？

作者：张欣
链接：https://www.zhihu.com/question/23765351/answer/98897364
来源：知乎
著作权归作者所有，转载请联系作者获得授权。

softmax 回归(Softmax Regression) 这里解释的很详细，简单总结下：

softmax模型是logistic模型在多分类问题上的推广， logistic 回归是针对二分类问题的，类标记为{0， 1}。
假设函数为： $h_\theta(x)=\frac 1 {1 + \exp(-\theta^T x)}$ 。
代价函数为：&lt;img src="https://pic1.zhimg.com/980d1a1ab6da9a277ee7fe5e2e5b6c1c_b.png" data-rawwidth="514" data-rawheight="61" class="origin_image zh-lightbox-thumb" width="514" data-original="https://pic1.zhimg.com/980d1a1ab6da9a277ee7fe5e2e5b6c1c_r.png"&gt;

在softmax模型中，label可以为k个不同的值 $y^i \in \{1, 2, 3, ....., k\}$ 。
对于给定的测试输入 $x$ ，我们想用假设函数针对每一个类别j估算出概率值 $p(y=j | x)$ 。
假设函数将输出一个k维的向量
&lt;img src="https://pic4.zhimg.com/242501fa80f9a1d463fb4b5d10d446b7_b.png" data-rawwidth="453" data-rawheight="111" class="origin_image zh-lightbox-thumb" width="453" data-original="https://pic4.zhimg.com/242501fa80f9a1d463fb4b5d10d446b7_r.png"&gt;
请注意 $\frac 1 {\sum^k_{j=1}e^{\theta^T_j x^i}}$ 这一项对概率分布进行归一化，使得所有概率之和为 1 。
代价函数为：&lt;img src="https://pic1.zhimg.com/558819625cec5f8b7cda33c4f7ea3acc_b.png" data-rawwidth="417" data-rawheight="61" class="content_image" width="417"&gt;其中：1{值为真的表达式}=1 为示性函数。其中：1{值为真的表达式}=1 为示性函数。
如果类别之间是互斥的，适合用softmax；如果类别之间允许重叠，应该选择k个logistic分类器。

巴特西

Softmax 函数的特点和作用是什么？

最新文章

热门文章