3.3线性模型线性回归假设输出与所有特征呈线性加权关系预测结果 各特征 × 对应重要系数再加上一个固定基础值。*损失误差均方误差MSE在所有w,b的可能取值中找到使MSE最小的取值作为最优取值线性模型做分类可以使用向量来输出不是输出1个元素而是m个元素 m为类别数使用线性模型预测出样本数据类别的置信度最大置信度的类别为样本数据所对于的类别并用onehot独热编码输出。这里的目标函数是MSE均方误差Softmax RegressionSoftmax回归模型输出经过 Softmax 变换得到概率向量第i类的预测概率等于该类原始得分的指数除以所有类别得分指数之和。把无界的原始置信分数o转化为合法概率所有数值≥0全部类别概率相加等于 1。理想输出是 “最大值对应类别为 1、其余为 0” 的独热向量Softmax 是这个离散目标的连续可微近似方便梯度下降训练。若样本真实类别为 i只要其他类别原始得分 oj 远小于 oi损失就不会施加大量惩罚不会像 MSE 一样强制把其他类分数压到 0。【总结】交叉熵损失的优势1MSE 会要求所有非目标类概率趋近 0交叉熵只关心真实类概率是否足够大只要真实类得分远高于其他类损失就很小不会浪费模型能力。2当预测和真实差距大时交叉熵的梯度很大模型能快速修正错误 MSE 在误差大时梯度平缓收敛速度慢分类效果差。小批量随机梯度下降 Mini-batch SGDw是模型的参数包括线性模型的w(权重)和b(偏移)b表示批量大小需要自己设计η 表示在时间 t 的学习率需要我们来设计不能选太小会走不动也不能选太大可能整个模型就出问题了迭代循环梯度为目标函数对参数w求导优点小批量随机梯度下降可以解决出决策树以外的模型缺点超参数b与η需要自己选
