机器学习的魅力

知识点 1线性回归Linear Regression——“一条直线走天下”文字描述线性回归试图找到一条“最佳直线”来拟合数据点使所有点到这条直线的垂直距离残差的平方和最小最小二乘法。它假设特征与目标之间存在线性关系。适用于预测连续数值如房价、温度。核心公式y w·x b损失函数均方误差 MSE (1/n) Σ(y_true - y_pred)²优化方法梯度下降 或 正规方程代码示例Python sklearnpythonimport numpy as np from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error # 生成假数据假装是房价 X np.array([1, 2, 3, 4, 5]).reshape(-1, 1) y np.array([1.5, 3.8, 6.7, 9.0, 11.2]) model LinearRegression() model.fit(X, y) preds model.predict(X) print(f斜率 w: {model.coef_[0]:.2f}, 截距 b: {model.intercept_:.2f}) print(fMSE: {mean_squared_error(y, preds):.2f})知识点 2逻辑回归Logistic Regression——“虽然叫回归但它是分类的间谍”文字描述逻辑回归虽带“回归”二字却是用于二分类的。它通过 Sigmoid 函数将线性输出压缩到 (0,1) 之间作为“属于正类的概率”。决策边界通常设为 0.5。适用于垃圾邮件识别、患病预测等。核心公式P(y1) 1 / (1 e^{-(w·xb)})损失函数交叉熵损失Log Loss代码示例pythonfrom sklearn.linear_model import LogisticRegression from sklearn.datasets import make_classification # 生成二分类数据集 X, y make_classification(n_samples100, n_features2, n_redundant0, random_state42) clf LogisticRegression() clf.fit(X, y) print(f准确率: {clf.score(X, y):.2f}) # 预测概率 proba clf.predict_proba(X[:2]) print(f前两个样本的预测概率: \n{proba})知识点 3决策树Decision Tree——“灵魂拷问机”文字描述决策树通过一系列“是/否”问题特征阈值对数据进行分割目标是使每个子节点的纯度最高如信息增益最大或基尼系数最小。易于理解但容易过拟合需剪枝。适用于可解释性要求高的场景。核心指标信息增益 熵(父) - Σ(子节点权重 × 熵(子))基尼不纯度 1 - Σ(p_i²)代码示例pythonfrom sklearn.tree import DecisionTreeClassifier from sklearn.tree import plot_tree import matplotlib.pyplot as plt # 使用鸢尾花数据 from sklearn.datasets import load_iris iris load_iris() tree DecisionTreeClassifier(max_depth3, random_state42) tree.fit(iris.data, iris.target) # 可视化趣味性 plt.figure(figsize(12,6)) plot_tree(tree, feature_namesiris.feature_names, class_namesiris.target_names, filledTrue) plt.title(一棵会思考的树 ) plt.show()知识点 4支持向量机SVM——“划清界限狂魔”文字描述SVM 寻找一个超平面使不同类别之间的间隔margin最大化。它只依赖支持向量离决策面最近的样本对异常值鲁棒。通过核技巧Kernel Trick可处理非线性分类如 RBF 核将数据映射到高维空间。关键概念硬间隔线性可分、软间隔允许少量误分类、核函数代码示例pythonfrom sklearn.svm import SVC from sklearn.datasets import make_moons from sklearn.model_selection import train_test_split X, y make_moons(n_samples200, noise0.15, random_state42) X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.3) svm SVC(kernelrbf, gammascale, C1.0) svm.fit(X_train, y_train) print(f测试集准确率: {svm.score(X_test, y_test):.2f})知识点 5K-Means 聚类——“无监督的拉帮结派”文字描述K-Means 将数据划分为 K 个簇每个簇由其质心均值点代表。算法迭代分配样本到最近的质心 → 更新质心为簇内均值。需预先指定 K对初始质心敏感常用 K-Means 初始化。评估指标轮廓系数Silhouette Score、手肘法Elbow Method代码示例pythonfrom sklearn.cluster import KMeans import numpy as np # 生成3个团块的数据 from sklearn.datasets import make_blobs X, _ make_blobs(n_samples300, centers3, random_state42) kmeans KMeans(n_clusters3, initk-means, random_state42) labels kmeans.fit_predict(X) print(f质心坐标: \n{kmeans.cluster_centers_}) print(f前10个样本的簇标签: {labels[:10]})知识点 6交叉验证Cross-Validation——“防止自我感觉良好”文字描述交叉验证是一种模型评估方法不将数据简单分为一组训练/测试而是分成 K 折K-Fold。每折轮流做测试集其余做训练集最终取平均性能。能更稳健地评估模型泛化能力避免因单次划分带来的运气成分。常用K-Fold通常 K5 或 10、Stratified K-Fold保持类别比例代码示例pythonfrom sklearn.model_selection import cross_val_score from sklearn.ensemble import RandomForestClassifier from sklearn.datasets import load_digits digits load_digits() rf RandomForestClassifier(n_estimators10, random_state42) scores cross_val_score(rf, digits.data, digits.target, cv5, scoringaccuracy) print(f5折交叉验证准确率: {scores}) print(f平均: {scores.mean():.3f} ± {scores.std():.3f})知识点 7正则化L1 / L2——“给模型戴上紧箍咒”文字描述正则化用于防止过拟合通过在损失函数后加惩罚项来限制模型复杂度。L1Lasso惩罚权重绝对值之和可产生稀疏解特征选择。L2Ridge惩罚权重平方和使权重平滑不产生稀疏但数值稳定。弹性网Elastic NetL1 L2 的组合。直观理解太复杂的模型会被“罚款”从而更乖。代码示例线性回归对比pythonfrom sklearn.linear_model import Ridge, Lasso from sklearn.datasets import make_regression X, y make_regression(n_samples100, n_features20, noise5, random_state42) ridge Ridge(alpha1.0) # alpha 是惩罚强度 lasso Lasso(alpha0.1) ridge.fit(X, y); lasso.fit(X, y) print(fRidge 系数非零个数: {sum(ridge.coef_ ! 0)}) print(fLasso 系数非零个数: {sum(lasso.coef_ ! 0)} (更稀疏))知识点 8梯度下降Gradient Descent——“盲人下山法”文字描述梯度下降是优化算法通过计算损失函数对参数的梯度沿负梯度方向更新参数使损失逐步减小。批量梯度下降BGD用全部数据计算梯度准确但慢随机梯度下降SGD用一个样本计算快但不稳定小批量梯度下降Mini-batch折中常用关键超参数学习率太大震荡太小龟速代码示例手动实现 SGD 线性回归pythonimport numpy as np # 生成数据 X np.random.rand(100, 1) * 10 y 2.5 * X 1.3 np.random.randn(100, 1) * 0.5 w np.random.randn(1) b np.random.randn(1) lr 0.01 epochs 200 for epoch in range(epochs): # 随机选一个样本SGD idx np.random.randint(100) x_i X[idx]; y_i y[idx] # 梯度 y_pred w * x_i b dw 2 * (y_pred - y_i) * x_i db 2 * (y_pred - y_i) # 更新 w - lr * dw b - lr * db print(f估计 w: {w[0]:.2f}, 真实 w: 2.5) print(f估计 b: {b[0]:.2f}, 真实 b: 1.3)