线性回归是一种线性模型，它假设输入变量x与单个输出变量y之间存在线性关系。具体的说，就是利用线性回归模型，从一组输入变量的线性组合中，计算出输出变量y。
如果有两个或者两个以上的自变量，这样的线性回归分析，就是多元线性回归。其实，在实际生活中，一个现象往往受多个因素的影响，所以多元线性回归比一元线性回归的应用更广。
假如说：我想买西瓜，此时，我应该挑选自己满意的西瓜，那么怎么挑选呢，我们应该从从色泽，根蒂，敲打的声音等多个维度考察西瓜的质量，假如每个影响西瓜的因素和瓜的质量是线性关系，就可以写成入下线性的关系：
使用梯度下降法求解多元线性回归：
其中J为损失函数，对损失函数中的参数求偏导得到梯度，带到梯度下降公式中，使得梯度不断下降，即沿着负梯度方向，使得损失函数越来越小，即误差最小，模型越来越好。
负梯度方向：函数变化减少最快的方向，即变量沿此方向变化时，函数减少最快。
损失函数是系数的函数，如果系数沿着损失函数的负梯度变化，此时损失函数减少最快，能够以最快速度下降到最小值。
其中，梯度下降公式入下：
其中α叫做步长，也叫做学习率，这意味着我们可以通过控制及步长来控制每一步走的距离，保证不要走太快，防止错过了最低点，同时也要保证尽快收敛，故α在梯度下降中还是比较重要的，既不能太大，也不能太小。
如果觉得多元线性回归的梯度下降不好理解，我们可以退回到一元线性回归的梯度下降进行观察，如下所示，其实就是不停的更新参数值，使得损失函数越来越小
线性回归求解可以使用最小二乘法和梯度下降法，下面我们针对两种方法进行对比：
1-相同点：本质和目标相同，两种都是经典的学习算法，在给定已知数据的情况下，利用求导算出一个模型(函数)，使得损失函数最小，然后对给定的新数据进行估算预测。
2-不同点：损失函数的选择：最小二乘法必须使用平方损失函数，而梯度下降可以选取其它函数；实现方法不同，最小二乘法是实现全局最小，而梯度下降是一种迭代法；一般最小二乘法一定可以得到全局最小，但对于多元计算繁琐，且复杂情况下未必有解，而梯度下降的迭代比较简单，但找到的一般是局部最小，即极小值，仅在目标函数是下凸函数是才是全局最小，到最小点的收敛速度会变慢，且对初始点的选择极为敏感，而且步长的选择对损失函数也有影响。
梯度下降，迭代数次后，损失函数趋于最小，110左右。
散点图的拟合直线如下所示：
控制台输出的损失函数相对于最小二乘法稍大，即误差稍大。
版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/te-hg/12232.html