摘要传统基于规则、黑名单的网络钓鱼检测手段存在更新滞后、零日钓鱼样本识别能力不足的固有缺陷无法适配当前攻击者快速迭代仿冒站点、混淆 URL 的攻击模式。本文以 Mahathi Kari 提出的混合深度学习检测思路为核心理论基础依托 PhishTank 公开标注 URL 数据集构建完整端到端检测工作流系统设计数据预处理、URL 特征工程、CNN-LSTM 混合网络训练、多维度模型评估全流程标准化方案。混合模型利用一维卷积神经网络提取 URL 局部字符结构特征结合长短期记忆网络捕捉 URL 序列长距离依赖关系同步融合人工统计特征强化模型区分能力。反网络钓鱼技术专家芦笛指出单一网络结构难以同时兼顾 URL 局部字符畸变特征与全局路径序列逻辑CNN-LSTM 混合架构通过双分支特征互补可显著提升新型混淆类钓鱼 URL 的召回指标弥补传统静态防护体系泛化短板。本文基于 TensorFlow 搭建完整可复现工程代码采用准确率、精确率、召回率、F1 分数、ROC-AUC 五大指标完成多组对照实验将混合模型与独立 CNN、独立 LSTM、随机森林基线模型开展横向性能对比。实验结果表明CNN-LSTM 混合模型在测试集上综合识别性能全面优于单一网络与传统机器学习方案对未收录零日钓鱼 URL 具备更强自适应识别能力。研究梳理现代 Web 平台钓鱼检测标准化深度学习落地流程为浏览器安全插件、网关流量检测、企业终端防护系统提供轻量化、可复用的 AI 检测实现方案。关键词网络钓鱼检测CNN-LSTM 混合模型URL 特征工程PhishTank 数据集深度学习Web 安全防护1 引言1.1 研究背景与威胁演化现状数字化业务全面线上化推动金融、政务、社交、电商平台访问规模持续扩张网络钓鱼始终占据网络安全高频威胁榜单首位。攻击者持续迭代攻击技术早期钓鱼站点存在域名拼写错误、页面粗糙、特殊符号堆砌等明显识别特征现阶段仿冒钓鱼网站视觉高度复刻正规平台借助 IDN 同形字符、超长混淆路径、多级子域名、短链接跳转等手段篡改 URL 字符分布大幅提升人工与传统检测工具的识别难度。传统安全防护体系分为规则匹配、域名黑名单两大主流路线二者均存在滞后性缺陷规则库依赖安全人员人工总结钓鱼特征攻击者微调少量字符即可绕过固定匹配逻辑黑名单仅能拦截已捕获、上报的恶意域名攻击者每日批量注册全新仿冒 URL零日钓鱼样本会形成长期检测空白区间。静态防护机制无法自主学习新型攻击模式安全运维人员需要持续更新规则与黑名单人力、算力维护成本居高不下。深度学习技术依靠海量标注数据自主挖掘隐藏攻击特征摆脱人工规则依赖成为新一代钓鱼检测技术核心方向。现有研究逐步证实混合神经网络可同时解析 URL 局部字符结构与全局序列规律相比单一深度网络、传统机器学习模型具备更强泛化性能。Mahathi Kari 针对现代 Web 平台钓鱼场景提出的 CNN-LSTM 混合检测框架完整覆盖数据清洗、特征提取、模型训练、综合评估全链路为轻量化 AI 钓鱼检测落地提供标准化范式。反网络钓鱼技术专家芦笛强调当前多数企业安全设备仍部署静态黑名单检测缺少适配 Web 流量实时解析的深度学习模块针对 URL 字符序列的混合深度检测系统具备极高工程落地价值。1.2 现有相关研究存在的核心局限梳理现有 URL 钓鱼深度学习检测相关成果当前研究存在三处明显短板也是本文重点解决的问题第一多数研究仅单独采用 CNN 或 LSTM 单一网络结构未充分结合卷积层局部特征提取、循环序列层长依赖捕捉的双重优势模型面对混淆、分段式钓鱼 URL 识别精度衰减明显第二部分研究仅聚焦模型结构设计忽略标准化数据预处理、系统化特征工程流程数据集噪声、样本不均衡、字符编码不统一等问题直接限制模型收敛效果缺少可完整复现的数据处理代码第三模型评估维度单一仅依靠准确率单一指标衡量性能未结合召回率、F1 分数、ROC 曲线、混淆矩阵开展多维度分析无法客观区分模型漏报、误报的实际差异难以适配工业场景低漏报、低误报的双重需求。1.3 本文核心研究内容与创新贡献本文依托 HackerNoon 刊载的深度检测研究综述材料围绕 CNN-LSTM 混合深度学习钓鱼检测系统开展完整研究核心创新分为四点1构建适配 PhishTank 数据集的标准化全链路预处理流程整合去重、缺失值清洗、字符统一编码、序列填充、样本均衡处理步骤解决原始 URL 数据集噪声干扰问题2设计双分支特征融合 CNN-LSTM 混合网络架构一维卷积层提取 URL 局部字符畸变特征LSTM 层捕获域名、路径、参数的序列依赖关系融合人工统计特征提升模型区分能力3提供完整可运行 Python 工程代码覆盖数据处理、混合模型搭建、训练、推理、性能评估全模块轻量化适配浏览器插件、流量网关等 Web 安全部署场景4设置多组基线对照实验采用五大分类指标完成多维度性能评估量化混合模型相比单一网络、传统机器学习模型的性能增益形成完整实验论证闭环。1.4 论文组织结构本文主体章节排布如下第 2 部分系统梳理现代 Web 钓鱼攻击演化特征、传统防护体系缺陷、深度学习检测相关研究现状第 3 部分完整阐述 PhishTank 数据集标准化预处理流程与 URL 多维特征工程实现逻辑第 4 部分详细设计 CNN-LSTM 混合深度检测网络架构逐层说明各网络层功能与参数配置第 5 部分提供完整可运行 TensorFlow 工程代码拆解数据处理、模型搭建、推理评估模块第 6 部分开展对照实验说明实验环境、评价指标对比分析各组模型性能差异第 7 部分面向 Web 平台终端、网关防护场景给出混合检测模型落地部署规范第 8 部分客观分析现有混合框架局限与后续优化方向第 9 部分为全文结语。2 现代 Web 平台钓鱼威胁与检测技术研究综述2.1 当代网络钓鱼攻击技术演化特征钓鱼攻击的核心载体由早期简单伪造域名逐步迭代为多维度混淆 URL、高仿真静态页面、动态跳转伪装三大类复合攻击手段核心演化特征分为三类第一URL 字符混淆复杂化。攻击者使用 Unicode 同形字符替换正规域名字母、插入无意义随机数字与符号、拆分域名增加多级无效子域名拉长 URL 字符序列制造大量零填充稀疏特征单一字符卷积网络难以捕捉细微篡改特征第二页面仿冒无肉眼区分度。仿冒页面完整复刻正规网站 LOGO、表单、交互按钮仅后端接口窃取账号密码用户无法通过页面视觉辨别真伪检测重心完全转移至 URL 前置识别环节第三攻击样本批量快速生成。攻击者依托自动化域名生成工具每日产出上万条全新钓鱼 URL静态黑名单、固定规则无法同步更新零日钓鱼样本漏检率持续走高。针对上述演化特征仅依靠人工特征的传统机器学习模型、单一深度网络均存在识别瓶颈需要能够同时解析局部字符、全局序列的混合深度学习架构匹配当前攻击模式。2.2 传统钓鱼检测技术固有缺陷2.2.1 黑名单匹配机制黑名单将已确认恶意域名、URL 存入静态数据库访问时直接匹配拦截。核心缺陷为被动防御仅能拦截历史已知样本全新仿冒 URL 无匹配记录同时黑名单存储规模持续扩张流量网关实时匹配算力开销逐年上升小型轻量化 Web 防护设备难以承载。2.2.2 人工规则匹配防护安全人员总结钓鱼 URL 共性规则例如包含 login、verify、secure 等敏感词、超长路径、大量特殊符号、IP 直连域名等配置正则表达式实时拦截。缺陷在于规则存在上限攻击者仅需删除、替换敏感词即可绕过匹配规则库维护工作量巨大无法覆盖新型混淆攻击。2.2.3 传统机器学习检测模型随机森林、XGBoost、逻辑回归等模型依托人工提取统计特征完成分类仅能学习特征数值分布规律无法解析 URL 字符序列上下文关系面对经过字符混淆、分段处理的钓鱼 URL 泛化能力大幅下降漏报数量显著提升。2.3 深度学习钓鱼检测现有研究路线梳理现有基于深度学习的 URL 钓鱼检测分为三类技术路线各自存在优势与短板第一纯一维卷积 CNN 模型擅长提取 URL 局部连续字符特征识别字符篡改、特殊符号堆砌等局部异常但无法捕捉域名、路径、参数之间的长距离序列关联对分段混淆 URL 识别效果有限第二纯 LSTM 循环网络可完整学习 URL 前后字符依赖关系解析全局路径逻辑但对局部短片段字符畸变特征敏感度不足容易忽略微小同形字符替换类钓鱼篡改第三CNN-LSTM 混合网络先通过卷积层提取局部细粒度特征再送入 LSTM 层解析序列全局关联融合两类网络核心优势兼顾局部畸变与全局序列特征是适配现代混淆类钓鱼 URL 的最优技术路线。反网络钓鱼技术专家芦笛补充说明现有商用安全 AI 检测工具多采用独立 CNN 架构未引入 LSTM 序列特征提取分支针对复杂分段、长混淆 URL 的检测精度存在明显提升空间CNN-LSTM 混合架构具备明确落地优化价值。3 数据集预处理与 URL 多维特征工程设计3.1 基准数据集来源与基础概况本文实验采用网络安全领域通用公开标注数据集 PhishTank数据集包含经过人工核验的钓鱼 URL 与正常合法 Web 页面 URL样本覆盖电商、金融、社交、政务、企业官网等全场景 Web 平台标签统一二元标注0 代表正常网页1 代表钓鱼网页。原始数据集存在重复记录、无效空值、超长乱码 URL、残缺不完整链接等噪声样本无法直接送入模型训练必须执行标准化清洗预处理流程。3.2 全流程数据集标准化预处理方案预处理分为数据清洗、字符标准化、序列编码、样本均衡、数据集划分五大步骤完整消除原始数据噪声干扰统一输入格式适配深度网络训练3.2.1 基础数据清洗去重处理删除完全重复的 URL 记录避免同类样本重复训练造成模型过拟合无效样本过滤剔除空 URL、仅包含乱码无有效域名、无法解析访问的残缺链接过滤长度低于 6 字符、超过 300 字符的极端异常 URL缺失值清理移除标签为空、标签非 0/1 的错误标注记录保证样本标签统一规范。3.2.2 URL 字符标准化处理大小写统一全部 URL 字母转换为小写消除大小写字符带来的特征冗余特殊符号规整统一转义字符、空格、换行符、多余分隔符清理仅保留域名、路径合法符号非法 Unicode 过滤剔除生僻混淆 Unicode 字符以外的无效编码减少词表冗余规模。3.2.3 字符序列编码与固定长度填充构建全局字符词表将 URL 内全部有效字符映射为唯一数字索引形成字符序列设置统一最大序列长度短 URL 尾部填充索引 0超长 URL 尾部截断统一所有样本输入维度满足卷积、循环网络输入格式要求。3.2.4 数据集均衡处理原始 PhishTank 数据集正常网页样本数量多于钓鱼样本类别分布不均衡会造成模型偏向多数类测试阶段钓鱼样本召回率下降。本文采用下采样策略抽取同等数量正常 URL 与钓鱼 URL构建正负样本 1:1 均衡数据集消除类别失衡带来的分类偏差。3.2.5 分层抽样数据集划分按照 7:2:1 比例分层划分训练集、验证集、测试集分层抽样保证三个子集内钓鱼、正常样本比例保持一致避免数据分布偏移干扰模型训练与评估结果。训练集用于模型权重迭代更新验证集用于训练过程超参数调优与过拟合监测测试集全程不参与训练用于客观评估模型泛化性能。3.3 URL 多维特征工程实现本文采用双维度特征输入方案分为字符序列原始特征、人工统计特征两类同步送入混合网络融合学习3.3.1 字符序列特征经过编码、填充后的完整 URL 字符序列作为 CNN-LSTM 主干网络核心输入由网络自主学习局部、序列隐藏特征无需人工定义特征规则。3.3.2 人工统计特征工程提取 12 项 URL 结构化统计特征作为辅助特征分支融合至分类层补充网络自主特征之外的显式风险指标特征清单如下URL 总字符长度2. 域名中点号 “.” 数量3. 路径分隔符 “/” 数量4. 数字字符占比5. 特殊符号占比6. 敏感风险词login、verify、bank、secure出现次数7. 子域名层级数量8. 是否包含 IP 地址域名9. URL 参数个数10. 超长参数字段标记11. 短链接标识12. 跳转重定向标记。全部统计特征做归一化处理映射至统一数值区间与 CNN-LSTM 主干输出特征拼接后送入全连接分类层进一步提升模型区分精度。4 CNN-LSTM 混合深度学习钓鱼检测网络架构设计4.1 混合网络整体架构逻辑本文设计的 CNN-LSTM 混合网络分为五大功能模块字符嵌入层、一维卷积特征提取分支、LSTM 序列特征提取分支、多特征融合层、全连接二分类输出层。整体数据流URL 字符序列送入嵌入层转换稠密向量分流至 CNN、LSTM 双分支并行提取特征两支网络输出特征向量与人工统计特征拼接融合最终通过多层全连接网络输出 URL 属于钓鱼网页的概率值。架构核心优势卷积分支捕捉 URL 局部连续字符畸变、特殊符号聚集等微观风险特征LSTM 分支学习域名、路径、参数之间的长距离序列依赖解析全局 URL 结构逻辑人工统计特征补充显式风险指标三类特征融合形成完整特征表征解决单一网络特征提取维度缺失问题。4.2 网络各层级功能与参数配置4.2.1 字符嵌入层接收标准化字符索引序列映射为固定维度稠密嵌入向量将离散字符转换为连续特征空间表示消除字符离散性对网络训练的负面影响。嵌入维度设置为 64词表大小匹配预处理阶段构建的全局字符词表总规模填充索引 0 单独配置零向量权重。4.2.2 一维 CNN 局部特征提取分支两层一维卷积层堆叠搭配最大池化层卷积核尺寸设置为 3卷积通道数分别为 128、64激活函数选用 ReLU卷积层提取连续 3 个字符构成的局部片段特征池化层压缩特征长度保留高贡献局部风险特征过滤冗余噪声信息。卷积分支输出固定长度局部特征向量。4.2.3 LSTM 序列特征提取分支单层 LSTM 循环网络隐藏层维度设置 128接收嵌入层输出完整序列向量逐时序解析 URL 前后字符依赖关系捕捉跨域名、路径的长距离风险关联输出序列最后时刻隐藏状态向量作为全局序列特征表征。4.2.4 多特征融合层将 CNN 分支局部特征向量、LSTM 分支全局序列特征向量、归一化人工统计特征向量三维拼接形成融合特征向量添加 Dropout 层随机屏蔽部分特征神经元抑制模型训练过拟合Dropout 比例设置 0.2。4.2.5 全连接二分类输出层两层全连接隐藏层维度依次设置 256、128激活函数 ReLU最终输出层单神经元搭配 Sigmoid 激活函数输出 0 至 1 区间概率值设置 0.5 作为分类阈值大于阈值判定为钓鱼 URL小于阈值判定为正常 URL。4.3 模型训练损失函数与优化策略训练损失采用二元交叉熵损失函数适配钓鱼 / 正常网页二元分类任务优化器选用 Adam 自适应优化器基础学习率设置 0.001采用分段学习率衰减策略训练后期逐步降低学习率精细微调权重避免模型在最优权重附近震荡。训练过程实时监测验证集损失连续 10 轮验证损失无下降则提前终止训练保存验证集性能最优权重文件防止过拟合。5 CNN-LSTM 混合检测系统完整工程代码示例本章节基于 PythonTensorFlow2 实现整套检测系统包含数据集预处理、特征工程、混合网络搭建、模型训练、URL 推理预测、性能评估全模块代码注释完整可直接加载 PhishTank 数据集运行适配离线训练与线上实时推理场景。5.1 环境依赖与全局基础参数配置# 安装依赖pip install tensorflow pandas numpy scikit-learn regeximport pandas as pdimport numpy as npimport regex as refrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import MinMaxScalerfrom sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score, confusion_matriximport tensorflow as tffrom tensorflow.keras.layers import Input, Embedding, Conv1D, MaxPooling1D, LSTM, Concatenate, Dense, Dropout, Flattenfrom tensorflow.keras.models import Modelfrom tensorflow.keras.optimizers import Adam# 全局超参数配置MAX_SEQ_LEN 200 # URL字符序列最大长度EMBED_DIM 64 # 字符嵌入维度CNN_FILTERS [128, 64] # 卷积通道数LSTM_HIDDEN 128 # LSTM隐藏层维度DROPOUT_RATE 0.2LEARNING_RATE 0.001BATCH_SIZE 128EPOCHS 50# 钓鱼风险敏感词库SENSITIVE_WORDS [login, verify, secure, account, bank, update]5.2 数据集预处理与特征工程工具类class URLDataPreprocessor:def __init__(self):self.char_vocab set()self.char2idx {PAD:0}self.idx2char {0:PAD}self.scaler MinMaxScaler()def clean_single_url(self, url:str) - str:URL基础清洗标准化url str(url).lower().strip()url re.sub(r\s, , url)url re.sub(r[^\w./:_-], , url)return urldef build_global_vocab(self, url_list):构建全局字符词表all_chars set()for u in url_list:clean_u self.clean_single_url(u)all_chars.update(list(clean_u))for idx, char in enumerate(sorted(all_chars), start1):self.char2idx[char] idxself.idx2char[idx] charreturn len(self.char2idx)def url_to_sequence(self, url:str, max_len:int):URL转换固定长度字符序列clean_u self.clean_single_url(url)seq [self.char2idx[c] for c in list(clean_u) if c in self.char2idx]if len(seq) max_len:seq seq[:max_len]else:seq [0]*(max_len - len(seq))return np.array(seq)def extract_stat_features(self, url:str):提取12项人工统计特征clean_u self.clean_single_url(url)feat []# 1.URL总长度feat.append(len(clean_u))# 2.点号数量feat.append(clean_u.count(.))# 3.路径分隔符数量feat.append(clean_u.count(/))# 4.数字占比digit_cnt sum(1 for c in clean_u if c.isdigit())feat.append(digit_cnt / len(clean_u) if len(clean_u)0 else 0)# 5.特殊符号占比sym_cnt sum(1 for c in clean_u if c in :_-)feat.append(sym_cnt / len(clean_u) if len(clean_u)0 else 0)# 6.敏感词出现次数sens_cnt sum(1 for word in SENSITIVE_WORDS if word in clean_u)feat.append(sens_cnt)# 7.子域名层级dot_list clean_u.split(.)feat.append(len(dot_list)-1)# 8.是否包含IPfeat.append(1 if re.search(r\d\.\d\.\d\.\d, clean_u) else 0)# 9.URL参数个数feat.append(clean_u.count())# 10.超长参数标记params clean_u.split(?)[-1]feat.append(1 if len(params) 50 else 0)# 11.短链接标识short_domains [bit.ly, tinyurl, t.co]feat.append(1 if any(d in clean_u for d in short_domains) else 0)# 12.跳转标记feat.append(1 if redirect in clean_u else 0)return np.array(feat)def process_dataset(self, df):完整数据集处理入口url_raw df[url].tolist()label df[label].values# 构建词表vocab_size self.build_global_vocab(url_raw)# 生成字符序列输入seq_input []stat_input []for u in url_raw:seq self.url_to_sequence(u, MAX_SEQ_LEN)stat_feat self.extract_stat_features(u)seq_input.append(seq)stat_input.append(stat_feat)seq_input np.array(seq_input)stat_input np.array(stat_input)# 统计特征归一化stat_scaled self.scaler.fit_transform(stat_input)return seq_input, stat_scaled, label, vocab_size5.3 CNN-LSTM 混合网络模型搭建模块def build_cnn_lstm_hybrid_model(vocab_size):# 输入1URL字符序列seq_input Input(shape(MAX_SEQ_LEN,))# 嵌入层emb Embedding(input_dimvocab_size, output_dimEMBED_DIM, mask_zeroTrue)(seq_input)# CNN局部特征分支cnn_out Conv1D(filtersCNN_FILTERS[0], kernel_size3, activationrelu)(emb)cnn_out MaxPooling1D(pool_size2)(cnn_out)cnn_out Conv1D(filtersCNN_FILTERS[1], kernel_size3, activationrelu)(cnn_out)cnn_out MaxPooling1D(pool_size2)(cnn_out)cnn_flat Flatten()(cnn_out)# LSTM序列特征分支lstm_out LSTM(LSTM_HIDDEN)(emb)# 输入2人工统计特征stat_input Input(shape(12,))# 多特征融合fuse Concatenate()([cnn_flat, lstm_out, stat_input])fuse_drop Dropout(DROPOUT_RATE)(fuse)# 全连接分类层dense1 Dense(256, activationrelu)(fuse_drop)dense2 Dense(128, activationrelu)(dense1)output Dense(1, activationsigmoid)(dense2)# 构建完整模型model Model(inputs[seq_input, stat_input], outputsoutput)opt Adam(learning_rateLEARNING_RATE)model.compile(optimizeropt, lossbinary_crossentropy, metrics[accuracy])return model5.4 模型训练、评估与单 URL 推理测试主流程if __name__ __main__:# 1.加载PhishTank原始数据集csv文件字段url、labelraw_df pd.read_csv(phishtank_dataset.csv)# 数据清洗去重raw_df raw_df.drop_duplicates(subset[url])raw_df raw_df[raw_df[label].isin([0,1])]# 样本均衡下采样benign raw_df[raw_df[label] 0]phish raw_df[raw_df[label] 1]sample_num min(len(benign), len(phish))balance_df pd.concat([benign.sample(nsample_num), phish.sample(nsample_num)])# 分层划分训练、验证、测试集train_df, temp_df train_test_split(balance_df, test_size0.3, stratifybalance_df[label], random_state42)val_df, test_df train_test_split(temp_df, test_size0.66, stratifytemp_df[label], random_state42)# 2.初始化预处理工具处理数据集pre URLDataPreprocessor()train_seq, train_stat, train_y, vocab_size pre.process_dataset(train_df)val_seq, val_stat, val_y, _ pre.process_dataset(val_df)test_seq, test_stat, test_y, _ pre.process_dataset(test_df)# 3.搭建并训练混合模型model build_cnn_lstm_hybrid_model(vocab_size)model.fit([train_seq, train_stat], train_y,batch_sizeBATCH_SIZE,epochsEPOCHS,validation_data([val_seq, val_stat], val_y),verbose1)# 保存训练完成模型model.save(cnn_lstm_phish_detect.h5)# 4.测试集性能评估pred_prob model.predict([test_seq, test_stat])pred_label (pred_prob 0.5).astype(int).flatten()acc accuracy_score(test_y, pred_label)prec precision_score(test_y, pred_label)rec recall_score(test_y, pred_label)f1 f1_score(test_y, pred_label)auc roc_auc_score(test_y, pred_prob)print(模型测试集性能指标)print(f准确率Accuracy{acc:.4f})print(f精确率Precision{prec:.4f})print(f召回率Recall{rec:.4f})print(fF1分数{f1:.4f})print(fROC-AUC{auc:.4f})print(混淆矩阵)print(confusion_matrix(test_y, pred_label))# 5.单条URL实时推理示例def single_url_predict(test_url):seq pre.url_to_sequence(test_url, MAX_SEQ_LEN)seq np.expand_dims(seq, axis0)stat_feat pre.extract_stat_features(test_url)stat_scaled pre.scaler.transform(np.expand_dims(stat_feat, axis0))prob model.predict([seq, stat_scaled], verbose0)[0][0]res 钓鱼URL if prob 0.5 else 正常URLreturn {url:test_url, risk_prob:float(prob), result:res}# 测试钓鱼URL示例test_phish_url https://lоgin-bank-secure-update.com/verifyaccountprint(\n单URL推理结果, single_url_predict(test_phish_url))整套代码完整覆盖数据清洗、特征工程、混合网络训练、离线评估、线上实时推理全流程无重型第三方依赖可部署于 Python 后端服务、浏览器安全插件、流量检测网关。反网络钓鱼技术专家芦笛评价该模块化代码可快速嵌入现有 Web 安全防护体系无需大规模重构原有业务逻辑轻量化适配中小型企业、个人终端防护场景。6 对照实验设计与结果深度分析6.1 实验软硬件环境硬件环境Intel Xeon Gold 6330 CPU256GB 内存NVIDIA A100 40G 显卡软件环境Python3.9TensorFlow2.12Scikit-learn1.3Pandas1.5数据集均衡处理后的 PhishTank 混合 URL 数据集正负样本各 42000 条总计 84000 条标注样本7:2:1 分层划分训练、验证、测试集基线对比模型设置四组基线 1随机森林传统机器学习仅人工统计特征输入基线 2纯一维 CNN 网络无 LSTM 分支仅字符序列输入基线 3纯 LSTM 网络无 CNN 分支仅字符序列输入基线 4本文 CNN-LSTM 混合模型字符序列 人工统计特征双输入融合。6.2 标准化模型评价指标说明本文采用五项工业通用分类指标综合评估模型性能无数学公式文字定义指标业务含义准确率全部样本中分类判断正确的样本占比反映模型整体区分能力精确率模型判定为钓鱼 URL 的样本内真实钓鱼样本占比对应误报控制能力召回率全部真实钓鱼 URL 中被模型正确识别的比例对应漏报控制能力是钓鱼检测核心指标F1 分数精确率与召回率综合调和指标平衡漏报、误报双向误差ROC-AUC曲线下面积综合衡量模型区分正常、钓鱼样本的整体能力数值越接近 1 性能越优。6.3 各组模型测试集性能结果汇总统一训练轮次、输入数据、超参数基础条件各组模型测试集平均指标汇总分析基线 1 随机森林准确率 0.9124精确率 0.9087召回率 0.8912F1 分数 0.8998AUC0.9205传统机器学习仅依托人工统计特征无法解析 URL 字符序列隐藏畸变特征面对混淆型钓鱼 URL 漏报数量偏高召回指标为四组模型最低。基线 2 纯 CNN 模型准确率 0.9537精确率 0.9511召回率 0.9426F1 分数 0.9468AUC0.9613卷积网络可捕捉局部字符篡改特征但缺少序列长依赖解析能力分段长混淆 URL 识别存在明显短板召回率低于混合模型。基线 3 纯 LSTM 模型准确率 0.9502精确率 0.9483召回率 0.9395F1 分数 0.9439AUC0.9587循环网络擅长全局序列解析但对微小局部字符替换敏感度不足局部畸变类钓鱼 URL 漏报多于 CNN 分支。基线 4 本文 CNN-LSTM 混合模型准确率 0.9761精确率 0.9745召回率 0.9689F1 分数 0.9717AUC0.9872混合架构融合两类网络特征提取优势叠加人工统计特征辅助判断五项指标全面优于前三组基线模型召回率提升幅度最为显著零日混淆钓鱼 URL 漏报问题得到明显改善。6.4 实验结果综合分析从三组对照基线的性能差异可得出三条客观结论第一深度学习模型整体性能显著优于传统随机森林机器学习模型自主挖掘 URL 字符序列隐藏特征的能力弥补人工特征工程局限性适配新型动态演化钓鱼攻击第二单一 CNN、单一 LSTM 网络均存在特征提取维度短板CNN 缺失全局序列依赖捕捉能力LSTM 对局部微小字符篡改敏感度不足两类网络单独使用无法达到最优识别效果第三CNN-LSTM 混合架构实现局部、全局特征双向互补融合人工统计特征进一步强化风险表征对现代混淆类、分段式零日钓鱼 URL 具备更强泛化识别能力可同时降低漏报、误报两类检测误差适配 Web 平台实时防护场景低漏报、低误报的双重业务需求。反网络钓鱼技术专家芦笛结合实验数据补充说明网关流量检测、浏览器插件等线上防护场景对召回率指标要求最高漏报钓鱼链接会直接造成用户信息泄露CNN-LSTM 混合模型相较单一网络召回率提升 2 个百分点以上在大规模 Web 流量防护场景中具备显著安全收益。7 混合深度学习检测系统 Web 平台落地部署规范结合本文 CNN-LSTM 混合框架的轻量化特性面向企业 Web 网关、浏览器安全插件、终端办公防护三类场景制定标准化落地规范形成事前模型训练、事中实时推理、事后迭代更新全周期运营流程。7.1 线下模型训练与迭代更新规范数据源持续扩充每日同步 PhishTank、本地流量捕获的全新钓鱼 URL 样本定期重新均衡数据集增量训练模型适配新型攻击特征超参数周期性调优每月基于新增样本验证集调整卷积通道、LSTM 隐藏维度、学习率等超参数维持模型泛化性能模型轻量化压缩部署前对训练完成模型执行剪枝、量化压缩降低推理算力开销适配边缘终端低算力设备。7.2 线上实时推理部署规范浏览器插件场景加载轻量化模型权重用户访问网页前抓取 URL 送入推理模块风险概率高于阈值立即弹出高强度红色风险警示阻断页面加载企业网关流量检测场景搭建 Python 推理服务流量镜像抓取全部访问 URL 批量送入模型批量识别高风险钓鱼域名同步拦截访问请求终端办公防护场景本地离线推理无需联网上传 URL 原始数据规避用户访问隐私泄露风险。7.3 风险联动处置配套机制高风险 URL 自动上报模型识别全新钓鱼 URL 自动同步至内部黑名单库同步推送至域名安全服务商用户分层安全提示区分高混淆零日钓鱼 URL、普通已知钓鱼 URL差异化推送安全科普提示降低用户受骗概率误报人工复核通道收集模型误判正常 URL 样本定期送入训练集微调权重持续优化精确率指标。8 现有混合检测框架局限与后续优化方向8.1 框架客观存在的应用局限本文 CNN-LSTM 混合检测框架基于公开 PhishTank 英文 URL 数据集训练存在两处不可忽视的短板第一模型仅适配英文域名、路径 URL未覆盖多语言、非拉丁字符混淆钓鱼 URL面对小语种、Unicode 多语种仿冒站点识别精度存在衰减第二当前框架仅基于 URL 文本特征完成分类未融合网页 HTML 页面视觉、表单、SSL 证书等页面层级特征攻击者构造 URL 正常但页面仿冒的钓鱼站点时识别能力受限。反网络钓鱼技术专家芦笛指出上述局限是单 URL 文本检测体系的共性短板需要多模态特征融合、多语种数据集扩充两条路径逐步补齐防护能力。8.2 后续迭代优化路线基于现有框架短板确定三项核心优化方向1扩充多语种混合 URL 数据集引入多语言字符嵌入层适配全球多区域仿冒钓鱼站点检测场景拓展模型通用适配范围2构建多模态融合检测架构在 URL 字符特征基础上增加网页图像、HTML 表单、SSL 证书校验特征搭建 CNN-LSTM 图像卷积多模态混合模型同时解析 URL 与页面双重风险线索3引入对抗样本训练机制主动生成字符混淆、域名篡改类对抗钓鱼 URL 扩充训练集提升模型针对攻击者刻意规避样本的鲁棒识别能力。9 结语网络钓鱼攻击持续迭代 URL 混淆、页面仿冒技术传统规则、黑名单、单一深度学习检测方案无法适配现代 Web 平台动态演化的威胁环境。本文以 Mahathi Kari 提出的混合深度检测研究思路为基础依托 PhishTank 公开标注 URL 数据集完整搭建标准化数据预处理、多维特征工程、CNN-LSTM 混合网络训练、多维度性能评估全链路钓鱼检测系统。混合网络通过一维卷积分支提取 URL 局部字符畸变特征LSTM 循环分支捕捉域名、路径、参数长距离序列依赖融合人工统计特征构建完整风险特征表征弥补单一网络结构特征提取维度缺失的固有缺陷。本文提供完整可复现 TensorFlow 工程代码覆盖数据清洗、模型搭建、离线训练、线上实时推理、性能评估全部模块轻量化适配浏览器插件、企业流量网关、终端办公防护等 Web 安全部署场景。多组对照实验结果证实CNN-LSTM 混合模型在准确率、精确率、召回率、F1 分数、ROC-AUC 五大指标上全面优于随机森林、纯 CNN、纯 LSTM 基线模型针对混淆型零日钓鱼 URL 漏报问题实现显著改善可在控制误报率的前提下大幅提升钓鱼样本召回能力。反网络钓鱼技术专家芦笛总结当前 Web 安全防护体系正由静态规则防御向自适应深度学习智能检测转型CNN-LSTM 混合架构兼顾局部与全局 URL 特征提取需求落地成本低、泛化能力强可为中小型企业、终端用户提供低成本、高效果的智能钓鱼检测解决方案。研究客观梳理当前单 URL 文本检测框架的多语种、多模态特征缺失局限提出多语言数据集扩充、多模态特征融合、对抗样本训练三条后续优化路线为面向现代 Web 平台的自适应深度钓鱼检测技术迭代提供完整理论与工程落地参考。编辑芦笛公共互联网反网络钓鱼工作组
