回归模型和分类模型常用损失函数有哪些？各有什么优缺点
回归模型常用的损失函数有：
0-1损失函数： $$ L(f(x),y) = \begin{cases} 1, & y \neq f(x) \ 0, & y = f(x) \end{cases} $$
绝对损失函数：异常点多的情况下鲁棒性好；但不方便求导 $$ L(f(x), y) = |f(x)-y| $$
平方损失函数：求导方便，能够用梯度下降法优化；对异常值敏感 $$ L(f(x),y) = (f(x)-y)^2 $$
对数损失函数/对数似然损失函数： $$ L(P(Y|X),Y) = -{\rm log} P(Y|X) $$
Huber 损失函数：结合了绝对损失函数和平方损失函数的优点；缺点是需要调整超参数 $$ L_{Huber}(f, y) = \begin{cases} (f-y)^2 & |f-y| \leq \delta \ 2 \delta |f-y| - \delta^2 & |f-y| > \delta \end{cases} $$
Log-Cosh 损失函数：具有Huber的所有优点，同时二阶处处可微（牛顿法要求二阶可微） $$ L(f,y) = \log \cosh(f-y) $$
解压密码： detechn或detechn.com
免责声明
本站所有资源出自互联网收集整理，本站不参与制作，如果侵犯了您的合法权益，请联系本站我们会及时删除。
本站发布资源来源于互联网，可能存在水印或者引流等信息，请用户自行鉴别，做一个有主见和判断力的用户。
本站资源仅供研究、学习交流之用，若使用商业用途，请购买正版授权，否则产生的一切后果将由下载用户自行承担。
