常见的损失函数有哪些?

Posted by admin On 8月 - 8 - 2022

为什么不能使用均方差做为分类问题的损失函数?1.回归问题通常用均方差损失函数,可以保证损失函数是个凸函数,即可以得到最优解。

对于组合方式,AdaBoost采用加权多数表决的方法,具体地,加大分类误差率小的若分类器的权值,减小分类误差率大的若分类器的权值,从而调整他们在表决中的作用。

,”

torch.nn.SmoothL1Loss(reduction=mean)!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9nS2F4akl4NmJhZ0pGVVlDSndFemhKbU43S0M2WWtPbHRUcDI0a0F5WW9hZkdnR2h0Zmd1TWlhbVNjNXFkUGliaGZlVklOUldyeWljUjBLWXlvbDJSTkRKdy82NDA?x-oss-process=image/format,png)其中!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9nS2F4akl4NmJhZ0pGVVlDSndFemhKbU43S0M2WWtPbEE1ZGtJQTU3VUs2ejNhc3ZRS2t6eWNpY29TWDFxRmxRUExIM2tVSXhMNTBCNVJiakNUQ1VNZ3cvNjQw?x-oss-process=image/format,png)**112分类的logistic损失SoftMarginLoss**torch.nn.SoftMarginLoss(reduction=mean)!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9nS2F4akl4NmJhZ0pGVVlDSndFemhKbU43S0M2WWtPbEt1ckdDNUVIbUw5bHZOTHJsUDA1TmliWFJhM3VncFRYRmljWnh3UmJ3RzdYZXc3Y0hpY2NpYVVOb0EvNjQw?x-oss-process=image/format,png)**12多标签one-versus-all损失MultiLabelSoftMarginLoss**torch.nn.MultiLabelSoftMarginLoss(weight=None,reduction=mean)!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9nS2F4akl4NmJhZ0pGVVlDSndFemhKbU43S0M2WWtPbG56bTl2VVJRUzdFQkRKaWNsU01OTERWN0l2dkhCSmNoakl5Z3NpY1hweWVYWkc0MUt3V3pEak9BLzY0MA?x-oss-process=image/format,png)**13cosine损失CosineEmbeddingLoss**torch.nn.CosineEmbeddingLoss(margin=0.0,reduction=mean)!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9nS2F4akl4NmJhZ0pGVVlDSndFemhKbU43S0M2WWtPbGg5d0tMQ0pRZ3ZjNTBHSG5ZME9QOTJnaDFUcFRjeUhzMnZpYmlhWGliakxJVGljQjZ1eGhma21Zc3cvNjQw?x-oss-process=image/format,png)参数:>margin:默认值0**14多类别分类的hinge损失MultiMarginLoss**torch.nn.MultiMarginLoss(p=1,margin=1.0,weight=None,reduction=mean)!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9nS2F4akl4NmJhZ0pGVVlDSndFemhKbU43S0M2WWtPbEw2SUNMVzEzRnRkQmJUR1daREJpY1VpY3IxSkxpYU9KaWFyZGlhbFBVUEJUTXdQTEU5QUJQUlFqaWNnUS82NDA?x-oss-process=image/format,png)参数:>p=1或者2默认值:1>margin:默认值1**15三元组损失TripletMarginLoss**和孪生网络相似,具体例子:给一个A,然后再给B、C,看看B、C谁和A更像。

添加成功后会根据研究方向邀请进入相关微信群。

损失函数是**经验风险函数**的核心部分,也是**结构风险函数**重要组成部分。

随着学习的进行,损失函数的值应该下降,并最终变得稳定。

在fasterrcnn框架中,使用了smoothL1loss来综合L1与L2loss的优点,定义如下:!(https://pica.zhimg.com/50/v2-8f19e8b3856aa9a2c8dd85b8d282ded1_720w.jpg?source=1940ef5c)!()在x比较小时,上式等价于L2loss,保持平滑。

**2.7交叉熵损失函数**数学公式:衡量模型输出的值和样本真实值之间的相似程度,其中yi是第i个样本的真实值,yi的取值只能是0或者。

比如**CVHub**今日宣布上市。

GIoU≤IoU,特别地,0≤IoU(A,B)≤-1,而0≤GIoU(A,B)≤-1;当两个边框的完全重叠时,此时GIoU=IoU=1.而当|AUB|与最小闭合凸面C的比值趋近为0时,即两个边框不相交的情况下,此时GIoU将渐渐收敛至-1.同样地,我们也可以通过一定的方式去计算出两个矩形框之间的GIoU损失,具体计算步骤也非常简单,详情参考原论文。

**Huber损失:**!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9nS2F4akl4NmJhaWFGcWFlR01jMWljOFpFWWh0czBDZFZGS2hwZ0IwYXI4OXlqdmFlMWhSM0FaRVVSbjhCTTFJbTJMaWFyaWFveW8wWHR0bkZKdlJGaWFKTjhnLzY0MA?x-oss-process=image/format,png)Huber损失函数在|f-y|较小时为平方损失,在|f-y|较大的时采用线性损失,处处可导,且对异常点鲁棒。

即:这就是为什么KL散度不能用作距离度量的原因。

****欢迎探讨,本文持续维护。

中值回归与均值回归的介绍详见补充信息)**MAE的不足:**1\\.MAE在$y=\\haty$处无法求导数。

这种方法的缺点是计算量大,需要大量的内存,优点是可以获得较好的检测精度。

其中,X代表残差网络个数,作用是防止在卷积的过程中产生梯度爆炸和网络退化等问题。

综上:||W1||||xixi||cos(θ1θ1)>=||W1||||xixi||cos(mθ1θ1)>||W2||||xi||cos(θ2θ2)定义:LlargeMarginSoftmaxLoss=−1N∑i=1Nlog(e||Wyi||||xi||ϕ(θyi)e||Wyi||||xi||ϕ(θyi)+∑j!=yie||Wyi||||xi||cos(θj))LlargeMarginSoftmaxLoss=−1N∑i=1Nlog(e||Wyi||||xi||ϕ(θyi)e||Wyi||||xi||ϕ(θyi)+∑j!=yie||Wyi||||xi||cos(θj))相比于传统的交叉熵损失函数,仅仅是将第i类间隔拉大了,其中:ϕ(θ)=(−1)kcos(mθ)−2kϕ(θ)=(−1)kcos(mθ)−2kθ=kπm,(k+1)πmθ=kπm,(k+1)πmk为整数,k属于0,m-1下图表示了在二分类情况下,W1,W2的模在等于,小于,大于三种不同关系下的决策边界。

现在,如果气象台说第二天会下雨,那么你的不确定性就降低了**4**倍,也就是**2比特**的信息。

在训练神经网络的时候我们使用梯度下降的方法来更新!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1ByVkNkTk9KSzJtODd0RktIMVRXWDg0MWx3ZDZBZmlhUDRwc0toazBaSGtUYUVCZlBvMkpPZXZqemljQWg4ZUV2S2ljLzY0MA?x-oss-process=image/format,png)和!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1BUSVhVaWI3R3FpY0hjSm1ESE9sZFo3aGpsMTJHcE1NS1JKZk5CcGZVeEhjUmliQzNmTk1Na2EzN3p4REt6dE8ySm1pYy82NDA?x-oss-process=image/format,png),因此需要计算代价函数对!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1ByVkNkTk9KSzJtODd0RktIMVRXWDg0MWx3ZDZBZmlhUDRwc0toazBaSGtUYUVCZlBvMkpPZXZqemljQWg4ZUV2S2ljLzY0MA?x-oss-process=image/format,png)和!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1BUSVhVaWI3R3FpY0hjSm1ESE9sZFo3aGpsMTJHcE1NS1JKZk5CcGZVeEhjUmliQzNmTk1Na2EzN3p4REt6dE8ySm1pYy82NDA?x-oss-process=image/format,png)的导数:!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1BEbTAxa0hJZWtvNkFmeGEzeURnenlGRVIxNGliblJaMWppYzQ3TE5zdlVuY0pVbDFUVzNWaGlhSHBNMzhUUGhHeFJaLzY0MA?x-oss-process=image/format,png)然后更新参数!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1ByVkNkTk9KSzJtODd0RktIMVRXWDg0MWx3ZDZBZmlhUDRwc0toazBaSGtUYUVCZlBvMkpPZXZqemljQWg4ZUV2S2ljLzY0MA?x-oss-process=image/format,png)和!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1BUSVhVaWI3R3FpY0hjSm1ESE9sZFo3aGpsMTJHcE1NS1JKZk5CcGZVeEhjUmliQzNmTk1Na2EzN3p4REt6dE8ySm1pYy82NDA?x-oss-process=image/format,png):!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1BGTkJNVXZmaHZkbEZFT0lMa05CaWEyQmhwM2dIVTFCWENYSEw5UEV4NGljTVZyTHF4UDdHbTFLcHZLSWppYmtpY3hSbS82NDA?x-oss-process=image/format,png)因为sigmoid的性质,导致!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1BRcGJGaHd1b2lhbXBmQUdLUkRmQzRqYzhONW1VeTR5Uk9oemNKckQyVFJNbjNQQUZ1dFgyVFZhdUZnWWx0OTNVMi82NDA?x-oss-process=image/format,png)在!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1BuRk5Oa0lTR2owcFJBRVVzV21xYWlhVFRmMVdMamdVb04zTFhKSDdBcGliMWliSnR4aWFaQkhUR0lBcFFSanBKcXFHWS82NDA?x-oss-process=image/format,png)取大部分值时会很小(如下图标出来的两端,几乎接近于平坦),这样会使得!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1A2WXU4cmFjeHRpY3U2c1N2aWM1NW93YW42QjVDUDh6SE5oQzVyU3l2QU85dFV4N3pRT1JaVHkwWXJaQjZoVFgzVWIvNjQw?x-oss-process=image/format,png)很小,导致参数!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1ByVkNkTk9KSzJtODd0RktIMVRXWDg0MWx3ZDZBZmlhUDRwc0toazBaSGtUYUVCZlBvMkpPZXZqemljQWg4ZUV2S2ljLzY0MA?x-oss-process=image/format,png)和!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1BUSVhVaWI3R3FpY0hjSm1ESE9sZFo3aGpsMTJHcE1NS1JKZk5CcGZVeEhjUmliQzNmTk1Na2EzN3p4REt6dE8ySm1pYy82NDA?x-oss-process=image/format,png)更新非常慢。

缺点Deng4在2019年提出了ArcFaceLoss,并在论文里说了SoftmaxLoss的两个缺点:1、随着分类数目的增大,分类层的线性变化矩阵参数也随着增大;2、对于封闭集分类问题,学习到的特征是可分离的,但对于开放集人脸识别问题,所学特征却没有足够的区分性。

Add your comment