SHFE行情数据深度分析3种高阶可视化技巧与Pandas实战当面对上海期货交易所(SHFE)的海量行情数据时如何快速提取关键信息并呈现给决策者本文将带你超越基础的数据获取深入探索如何用Python进行专业级的数据清洗、特征工程和可视化呈现。1. 数据获取与初步观察获取SHFE数据只是第一步。让我们先看看原始数据的结构import akshare as ak from datetime import datetime import pandas as pd # 设置Pandas显示选项 pd.set_option(display.max_columns, None) pd.set_option(display.max_rows, 10) pd.set_option(display.width, 1000) # 获取当日SHFE数据 shfe_data ak.get_shfe_daily(datetime.now().strftime(%Y%m%d)) print(shfe_data.head())典型的数据结构包含以下关键字段字段名描述示例值symbol合约代码CU2404date交易日期20240320open开盘价72310high最高价72620low最低价72220close收盘价72540volume成交量8010open_interest持仓量111811注意不同品种的单位可能不同铜、铝等金属以吨为单位黄金以克为单位白银以千克为单位原油以桶为单位。2. 数据清洗与特征工程原始数据往往存在缺失值、异常值等问题需要进行专业处理。2.1 处理缺失值与异常值# 处理零值问题 shfe_data.replace(0, pd.NA, inplaceTrue) # 过滤无效数据 valid_data shfe_data.dropna(subset[open, high, low, close]) # 计算涨跌幅 valid_data[pct_change] (valid_data[close] - valid_data[pre_settle]) / valid_data[pre_settle] * 1002.2 品种分类与主力合约识别# 按品种分组 grouped valid_data.groupby(variety) # 找出各品种主力合约成交量最大的合约 main_contracts grouped.apply(lambda x: x.nlargest(1, volume)).reset_index(dropTrue) # 添加是否为主力合约标志 valid_data[is_main] valid_data[symbol].isin(main_contracts[symbol])3. 三种高阶可视化方法3.1 多合约价格走势对比图import matplotlib.pyplot as plt import seaborn as sns # 设置样式 plt.style.use(seaborn) sns.set_palette(husl) # 选取铜合约数据 cu_data valid_data[valid_data[variety] CU].sort_values(symbol) # 绘制价格走势 plt.figure(figsize(14, 7)) for contract in cu_data[symbol].unique()[:5]: # 只展示前5个合约 contract_data cu_data[cu_data[symbol] contract] plt.plot(contract_data[symbol], contract_data[close], markero, labelcontract) plt.title(铜合约价格走势对比, fontsize15) plt.xlabel(合约代码, fontsize12) plt.ylabel(价格(元/吨), fontsize12) plt.legend() plt.grid(True, alpha0.3) plt.tight_layout() plt.show()3.2 品种成交量热力图# 准备热力图数据 heatmap_data valid_data.pivot_table(indexvariety, columnssymbol, valuesvolume, aggfuncsum) plt.figure(figsize(16, 10)) sns.heatmap(heatmap_data.fillna(0), cmapYlOrRd, annotTrue, fmt.0f, linewidths.5) plt.title(各品种合约成交量热力图, fontsize15) plt.xlabel(合约代码, fontsize12) plt.ylabel(品种, fontsize12) plt.tight_layout() plt.show()3.3 主力合约价差分析# 计算相邻合约价差 main_contracts[price_diff] main_contracts.groupby(variety)[close].diff() # 筛选有价差数据的品种 diff_data main_contracts.dropna(subset[price_diff]) # 绘制价差分布 plt.figure(figsize(14, 8)) sns.boxplot(xvariety, yprice_diff, datadiff_data) plt.title(主力合约价差分布, fontsize15) plt.xlabel(品种, fontsize12) plt.ylabel(价差(元), fontsize12) plt.xticks(rotation45) plt.grid(True, alpha0.3) plt.tight_layout() plt.show()4. 进阶分析技巧4.1 持仓量-价格关系分析持仓量变化往往预示着市场趋势的转变。我们可以分析持仓量与价格的关系# 计算持仓量变化率 valid_data[oi_change] valid_data.groupby(symbol)[open_interest].pct_change() # 选取主力合约 main_data valid_data[valid_data[is_main]] plt.figure(figsize(14, 7)) sns.scatterplot(xoi_change, ypct_change, huevariety, datamain_data, s100, alpha0.7) plt.axhline(0, colorgray, linestyle--) plt.axvline(0, colorgray, linestyle--) plt.title(主力合约持仓量变化与价格涨跌幅关系, fontsize15) plt.xlabel(持仓量变化率, fontsize12) plt.ylabel(价格涨跌幅(%), fontsize12) plt.grid(True, alpha0.3) plt.tight_layout() plt.show()4.2 品种相关性分析了解不同品种间的价格相关性对投资组合构建很有帮助# 获取各品种主力合约收盘价 pivot_data valid_data[valid_data[is_main]].pivot(indexdate, columnsvariety, valuesclose) # 计算相关系数 corr_matrix pivot_data.corr() # 绘制相关系数热力图 plt.figure(figsize(12, 10)) sns.heatmap(corr_matrix, annotTrue, cmapcoolwarm, center0, fmt.2f, linewidths.5) plt.title(各品种主力合约价格相关系数矩阵, fontsize15) plt.tight_layout() plt.show()5. 自动化报告生成将上述分析整合成自动化报告from matplotlib.backends.backend_pdf import PdfPages def generate_report(data, filenameshfe_report.pdf): with PdfPages(filename) as pdf: # 封面 plt.figure(figsize(8, 11)) plt.text(0.5, 0.7, SHFE行情分析报告, hacenter, vacenter, fontsize20) plt.text(0.5, 0.6, datetime.now().strftime(%Y-%m-%d), hacenter, vacenter, fontsize12) plt.axis(off) pdf.savefig() plt.close() # 添加各分析图表 # ... (这里添加前面各节的可视化代码) print(f报告已生成: {filename}) # 生成报告 generate_report(valid_data)提示实际应用中可以结合Jupyter Notebook或Dash等工具创建交互式分析面板让用户能够自主选择分析品种和时间范围。通过以上方法我们不仅实现了数据的可视化呈现更挖掘出了数据背后的市场结构和交易机会。这种分析框架可以轻松扩展到其他期货交易所的数据分析中。
)
