1. 线性回归从房价预测到模型调优记得我第一次用线性回归预测房价时对着满屏的误差数字直挠头。当时用的就是Kaggle那个经典的房价数据集现在想来真是新手必经之路。线性回归看似简单但要把MAE平均绝对误差降到合理范围得花不少功夫。核心公式其实就一行y wX b。但要让这个公式真正发挥作用得先理解几个关键点特征工程我试过把房屋面积单独作为特征MAE大概在3万左右。后来加入卧室数量、房龄、地段评分等特征组合成多元线性回归误差立刻降到2.1万。实测下来这些特征组合最有效面积 卧室数量面积 × 地段评分房龄的倒数新房的溢价更明显交叉验证十折交叉验证是我的标配。把数据分成10份轮流用9份训练1份测试最后拼起来评估。这样做的好处是能充分利用数据还能看出模型是否稳定。有一次我发现某组特征的MAE波动很大排查后发现是某个离群地段的数据在作怪。评估指标新手容易只看R²分数老手会更关注MAE和RMSE。RMSE对异常值更敏感适合检查模型有没有严重错误。我通常会列个表格对比不同模型模型类型MAERMSER²一元线性回归3.2万4.1万0.72多元线性回归2.1万2.8万0.86对数线性回归1.9万2.6万0.88遇到特征量纲差异大的情况比如面积是两位数而房价是七位数一定要做标准化。我有次忘了这个步骤梯度下降时参数直接飞了损失值飙升到天文数字。后来用sklearn的StandardScaler处理后才收敛。2. 逻辑回归垃圾邮件分类实战逻辑回归虽然名字带回归其实是分类神器。我在Dota2比赛预测和垃圾邮件分类中都用过它最大的感受是特征决定上限参数调优决定下限。核心差异在于sigmoid函数把线性输出压缩到(0,1)区间。但实际用起来有几个坑要避开评估指标陷阱准确率(accuracy)在样本不平衡时会骗人。比如垃圾邮件占比5%全预测为正常邮件也有95%准确率。这时候要看精确率(precision)和召回率(recall)精确率预测为正的样本中实际为正的比例召回率实际为正的样本中被预测为正的比例我通常会这样调参from sklearn.linear_model import LogisticRegression model LogisticRegression(class_weightbalanced) # 自动处理样本不平衡 model.fit(X_train, y_train)特征变换直接扔原始文本效果很差。试过TF-IDF和词频统计后发现组合特征更有效包含免费、点击等关键词的次数发件人域名是否在白名单邮件正文的标点符号比例垃圾邮件常用大量感叹号正则化选择L1正则化能自动做特征选择有次帮我从2000个特征中筛出30个关键特征。参数C越小正则化越强一般从0.01到100之间网格搜索。3. 决策树剪枝的艺术决策树最迷人的地方是可视化后能看到完整判断逻辑。但第一次用默认参数训练时树深达到30层简直是个过拟合怪物。后来学会剪枝才明白决策树不是越深越好。关键参数就两个max_depth最大深度和min_samples_leaf叶节点最小样本数。我的调参经验学习曲线法观察不同深度下训练集和测试集的MAE变化。在房价预测任务中深度超过15后测试集误差不再下降这时就该停止。预剪枝vs后剪枝预剪枝训练时提前停止分裂。速度快但可能欠拟合适合大数据集后剪枝先完整训练再剪枝。效果更好但耗内存适合小数据集实测在Dota2预测中后剪枝能让F1值提高3%左右。分裂标准对比信息增益偏向选择取值多的特征增益率对信息增益做归一化基尼系数计算更快效果通常与前两者相当建议先用基尼系数如果效果不好再试其他。4. 神经网络学习率的魔法第一次用神经网络识别手写数字时设了个learning_rate0.1结果损失值像过山车一样上蹿下跳。后来才知道学习率是神经网络的命门。梯度下降的三大要点学习率选择用学习率扫描法找合理范围for lr in [0.001, 0.01, 0.1, 1]: model MLPClassifier(hidden_layer_sizes(64,), learning_rate_initlr) model.fit(X_train, y_train) plot_loss_curve(model.loss_curve_) # 观察收敛情况小技巧如果损失曲线像锯齿一样震荡说明学习率太大如果是平滑但下降慢说明学习率太小。批次大小batch_size32是个不错的起点。但我在房价预测中发现用全批量梯度下降反而更稳定因为数据量本身不大。隐藏层设计单隐藏层神经元的经验公式隐藏层神经元数 (输入维度 输出维度) * 2/3比如MNIST输入是784维输出是10类可以设(78410)*2/3 ≈ 530个神经元。超参数组合的实战效果学习率批次大小迭代次数准确率0.11285092.3%0.016410095.1%0.0013220094.8%最后分享一个踩坑经验神经网络对输入数据的尺度极其敏感。有次忘了对房价数据做归一化导致梯度爆炸。现在我的代码开头必定会加上from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train scaler.fit_transform(X_train) X_test scaler.transform(X_test)
