损失函数

Posted by admin On 8月 - 8 - 2022

上图中上下两条虚线基于0.05和0.95的分位数损失得到的取值区间,从图中可以清晰地看到建模后预测值得取值范围。

但是我们却无法得到取值的区间范围,这时候就需要分位数损失函数来提供。

****信息量:**它是用来衡量一个事件的不确定性的;一个事件发生的概率越大,不确定性越小,则它所携带的信息量就越小。

可以理解为是train过程的loss。

绝对误差(MAE)平均绝对误差(MAE)是用于回归模型的另一个损失函数。

而在实际应用中,通常会使用均方差(MSE)作为一项衡量指标,公式如下:

1.**指数损失函数(Adaboost)**指数损失函数(exp-loss)的标准形式如下:

可以看出,Adaboost的目标式子就是指数损失,在给定n个样本的情况下,Adaboost的损失函数为:

关于Adaboost的推导,可参考《统计学习方法》P145.1.**Hinge损失函数(SVM)**Hingeloss用于最大间隔(maximum-margin)分类,其中最有代表性的就是支持向量机SVM。

最近,我看到一篇由JonBarron在CVPR2019中提出的关于为机器学习问题开发一个鲁棒、自适应的损失函数的文章。

对于交叉熵损失,除了我们在这里使用**预测概率的对数(log(q(i)))外,它看起来与上面熵**的方程非常相似。

(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9nS2F4akl4NmJhaWFiRVNpY1Fhb3M5Z3ppYmdXd2pLQ2plZk1rNTR1WnBHbTByWDYyWXc5bWlhV0dOcTc4TG56SjhicmhjMWZPb1FQZUpsUGJHbUp3dnJ1alEvNjQw?x-oss-process=image/format,png)记得备注呦**推荐两个专辑给大家:******专辑|李宏毅人类语言处理2020笔记专辑|NLP论文解读!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9nS2F4akl4NmJhaEYwVTBpYWhpY3NpYWthWk4zNU9tbjRoUWc3UHVSdWdBZENBem5PU3RCRGR6VGZONmppYTZCeFFjaWM5Q3NXRlBKVzVMaElTZVg1bnR3dFdRLzY0MA?x-oss-process=image/format,png)整理不易,还望给个在看!,转自:几种常见的损失函数(https://www.cnblogs.com/lliuye/p/9549881.html)1\\.损失函数、代价函数与目标函数**损失函数(LossFunction)**:是定义在单个样本上的,是指一个样本的误差。

****2:图中的m指的是一行数据中的m列(下面证明中展现的更加清晰)****(2):证明:****我们首先先引用一下函数先计算一个结果:**importtorchasthimporttorch.nnasnnloss=nn.L1Loss()input=th.Tensor(2,3,4,5)target=th.Tensor(4,5,6,7)output=loss(input,target)outputtensor(2.)我们可以用手动计算来验证数学本质正不正确(数学本质中的m在文中具体数值为4):output=(|2-4|+|3-5|+|4-6|+|5-7|)/4=2**ps:因为我们函数的reduction(l1loss函数的参数)选择的是默认的”mean”(平均值),所以还会在除以一个”4″,如果我们设置loss=L1Loss(reduction=\sum\)则不用再除以。

**Absolute损失:****!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy92c0FDeVhxMURCaDRvTDdWam5MeXlwNUs2eE5qVXFvY1ladDJnaWMwMEpRaWFpYk1NaWF1eHRJM2JkbEk2aEN6VEtMdGU0aWI5UkM0Z0dJWTVTZnNkWVJ0MnByN0lJbDJxU0dOSS82NDA?x-oss-process=image/format,png)**绝对损失函数相当于在做中值回归,相比做均值回归的平方损失函数,绝对损失函数对异常点更鲁棒。

而在实际应用中,通常会使用均方差(MSE)作为一项衡量指标,公式如下:

1.**指数损失函数(Adaboost)**指数损失函数(exp-loss)的标准形式如下:

可以看出,Adaboost的目标式子就是指数损失,在给定n个样本的情况下,Adaboost的损失函数为:

关于Adaboost的推导,可参考《统计学习方法》P145.1.**Hinge损失函数(SVM)**Hingeloss用于最大间隔(maximum-margin)分类,其中最有代表性的就是支持向量机SVM。

**3交叉熵损失CrossEntropyLoss**当训练有C个类别的分类问题时很有效.可选参数weight必须是一个1维Tensor,权重将被分配给各个类别.对于不平衡的训练集非常有效。

这两种任务都有各自适合的损失函数,**有时候是多种损失函数的组合**。

起初,有两种同样可能的可能性,但是在收到气象站的更新信息后,我们只有一种。

比如语音识别、ocr识别等等。

所以求最优模型,就是求解最优化问题:!(http://latex.codecogs.com/gif.latex?min&space;%5Cfrac%7b1%7d%7bN%7d%5Csum_%7bi=1%7d%5E%7bN%7dL%28y_%7bi%7d,f%28x_%7bi%7d%29%29+%5Clambda&space;J%28f%29)这样监督学习问题就变成了经验风险或者结构风险函数的最优化问题。

非极大值抑制的优化在目标检测的后处理过程中,目标框的筛选,需要进行非极大值抑制操作。

**

!_注:__MAE和MSE作为损失函数的主要区别:__(1).MSE通常比MAE可以更快地收敛。

我们可以看到随着误差的增加损失函数增加的更为迅猛。

Add your comment