1. 项目背景与核心目标这个机器学习实战项目源自李宏毅教授2022年春季《机器学习》课程的第一次作业要求基于历史数据构建新冠病毒感染人数的预测模型。作为入门级的时序预测任务它完美融合了公共卫生事件分析与基础机器学习技术应用两大维度。在实际操作中我们需要处理来自真实世界的非平稳时序数据构建能够捕捉感染人数变化规律的预测模型。这个项目的独特价值在于数据维度真实使用经过脱敏处理的实际感染统计数据问题定义明确单变量时序预测任务Univariate Time Series Forecasting评估标准清晰以均方误差MSE作为核心指标提示虽然作业本身使用2021年的数据但方法论完全适用于当前各类疫情数据分析场景包括流感等其他传染病的预测。2. 数据理解与特征工程2.1 原始数据解析原始数据集通常包含两列核心信息日期date连续的时间戳确诊数cases当日新增感染人数通过EDA分析可以发现几个关键特征明显的周期性波动通常以7天为周期存在异常峰值节假日或检测策略变化导致非平稳性趋势感染波峰波谷差异显著# 典型的数据加载代码示例 import pandas as pd data pd.read_csv(covid_cases.csv, parse_dates[date]) print(data.describe())2.2 关键特征构建基于时序预测的常用方法我们需要构造以下特征类型特征类型生成方法作用说明滞后特征前1/7/14天的病例数捕捉短期依赖关系移动统计7天平均/标准差平滑噪声反映趋势时间特征星期几/月份/季度捕获周期性模式变化率日环比/周同比反映增长加速度# 特征工程示例代码 data[lag_1] data[cases].shift(1) data[rolling_7_mean] data[cases].rolling(7).mean() data[day_of_week] data[date].dt.dayofweek3. 模型构建与技术选型3.1 基线模型选择作业中通常会对比三类经典方法简单移动平均实现简单但效果有限适合建立评估基准def moving_average(data, window7): return data.rolling(window).mean()线性回归使用前述构造的特征可解释性强但非线性关系捕捉有限神经网络模型全连接网络(FCN)作为基础架构输入层节点数对应特征维度隐藏层通常2-3层即可3.2 深度模型优化技巧对于神经网络的实现有几个关键优化点数据标准化from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train scaler.fit_transform(X_train)损失函数选择MSE直接对应评估指标可尝试SmoothL1Loss减少异常值影响早停机制from pytorch_lightning.callbacks import EarlyStopping early_stop EarlyStopping(monitorval_loss, patience5)4. 模型评估与结果分析4.1 评估指标解读使用MSE作为核心指标时需注意对异常值敏感量级与数据规模相关建议同时观察MAE和MAPE注意在公共卫生领域过高预测和过低预测的风险不对称可能需要设计非对称损失函数。4.2 典型结果模式通过多次实验通常会观察到模型类型验证集MSE过拟合风险训练速度移动平均较高低极快线性回归中等中快神经网络较低高慢4.3 可视化分析技巧建议使用以下可视化方法诊断模型预测-实际对比图plt.plot(y_true, labelActual) plt.plot(y_pred, labelPredicted)残差分布图sns.distplot(y_true - y_pred)滚动误差图plt.plot(moving_average(np.abs(y_true - y_pred)))5. 实战经验与避坑指南5.1 数据预处理陷阱缺失值处理直接填充0会引入偏差建议使用前后均值或插值法数据泄露移动统计量计算时需严格区分训练/测试集使用TimeSeriesSplit进行交叉验证5.2 模型训练技巧批次大小选择小批次32-64更适合时序数据太大容易错过局部波动模式学习率设置初始建议1e-3到1e-4使用学习率调度器如ReduceLROnPlateau正则化策略L2正则系数建议0.01-0.001Dropout率建议0.2-0.55.3 部署注意事项模型更新频率建议每周重新训练保留历史模型用于比对预测不确定性输出预测区间而非单点估计可使用MC Dropout估算方差业务解释性提供特征重要性分析生成趋势分解图表6. 项目扩展方向对于希望深入研究的同学可以考虑以下进阶方向多变量时序模型加入疫苗接种率、防控政策等外部变量使用LSTM/Transformer架构空间维度扩展构建地区级预测模型加入地理邻接矩阵实时预测系统# 简易API示例 from fastapi import FastAPI app FastAPI() app.post(/predict) async def predict(date: str): return {prediction: model.predict(date)}异常检测集成自动识别数据上报异常结合统计检验方法这个项目虽然作为课程作业出现但完整覆盖了从数据预处理到模型部署的机器学习全流程。在实际操作中我发现时序数据的季节性分解质量会显著影响最终效果建议使用STL分解而非传统方法。另外对于突发的感染高峰单纯的统计学习可能表现不佳这时需要结合流行病学领域的专业知识进行模型校正。
)
