机器学习——特征缩放

特征缩放一般希望将特征值缩放到-1 到 1之间或者非常相近的区域之间,这样做的原因是为了便于梯度下降算法运行的更快。
只要缩放到相近似的范围即可

如图缩放的方式为:
(x-u)/s ,其中x是特征值,u是均值,s是值范围。

如何确定梯度下降运行正确?

如何确定学习速率?

由梯度下降公式可知,学习速率越大,j函数值下降的越快,越快速趋缓,在较少的迭代中,函数值迅速趋向缓和表明学习速率大

如果学习速率太小,收敛速度慢,如果学习速率太大,可能会错过收敛点

为了确定学习速率多少合适,可以先设定一个学习速率,迭代几次值,画出二维坐标,连线看先下降的趋势,如上图,通过下降趋势来判断设置的学习速率是偏大还是偏小

面对一个事物,我们选取什么特征进行建模需要多方考虑,有时候需要将多个特征综合起来表示成一个特征,比如房子的宽高我们可以表示为面积