1. 项目概述从“黑盒”到“白盒”的逆向思维最近在技术社区和论坛里关于“某鱼”平台数据抓取和自动化操作的讨论又热了起来。很多刚入行数据分析、爬虫开发甚至是想做点市场调研的朋友都卡在了第一步登录和请求数据。你会发现直接用requests库去模拟请求十有八九会返回一些看不懂的错误或者干脆告诉你“请求参数不合法”。问题的核心往往就出在那些随着页面加载而动态生成的、长长的一串加密参数上比如最常见的data、sign、token之类。这些参数就像是平台给自家API大门上的一把动态密码锁。前端JavaScriptJS代码负责在每次请求前根据当前时间、用户信息、请求内容等“原料”通过一套复杂的算法现场计算出这个“密码”。对于平台来说这有效防止了简单的脚本刷取保护了数据接口。但对于我们开发者而言如果想合法合规地比如用于个人学习、数据分析而非恶意爬取或干扰服务获取公开数据理解并重现这套加密逻辑就成了必须跨过的门槛。“JS逆向”听起来很高深像是安全专家的领域让很多初学者望而却步。实际上它的核心思想是“理解”而非“破解”。我们不需要攻击服务器也不需要深究密码学原理当然懂一些更好。我们要做的是像一个侦探一样顺着前端代码的执行逻辑找到生成那个关键加密参数的“工厂”然后用代码把这个“工厂”的流程复现出来。这个过程恰恰是深入理解Web应用前后端交互、提升JavaScript代码阅读和调试能力的绝佳实践。本教程的目标就是带你一步步拆解这个“黑盒”。我将以最新的技术栈和常见的逆向思路模拟还原一个类似“某鱼”平台核心加密参数的逆向分析过程。请注意我们所有的操作都基于本地对静态资源如JS文件的分析和调试不涉及对线上服务的任何攻击或干扰完全在合法合规的学习范畴内。你将学到的不是某个固定答案而是一套通用的、可迁移的逆向工程方法论和浏览器开发者工具实战技巧。2. 逆向工程核心思路与工具准备在开始动手之前我们必须建立一个清晰的逆向分析思路。盲目地扎进成千上万行的混淆代码里无异于大海捞针。一个高效的逆向流程通常遵循“由外而内由果推因”的路径。2.1 逆向分析的核心逻辑链条逆向的目标是找到输出加密参数 - 生成函数 - 输入原始参数这个链条。定位关键请求与参数首先我们需要在浏览器中打开目标页面例如某鱼的搜索页或商品列表页通过开发者工具的Network网络面板捕获浏览器发出的真实数据请求。找到那个返回我们所需数据的XHR或Fetch请求。仔细观察其请求头Headers和负载Payload特别是那些看起来像随机字符串、长度固定或变化有规律的参数例如dataxxxxxx、signyyyyyy、_tokenzzzzzz。记下这个请求的URL和这些关键参数名。这是我们的“果”。搜索与断点有了参数名我们就可以在开发者工具的Sources源代码面板中全局搜索这个参数名或者搜索可能包含其生成逻辑的URL路径关键词。更高效的方法是使用“XHR/Fetch断点”。在Network面板中找到该请求右键选择“Copy - Copy as fetch”或“Copy as cURL”然后可以在Sources面板的XHR/Fetch Breakpoints里添加包含该请求URL片段的断点。这样当浏览器再次发起相同请求时代码执行会自动暂停在发起请求的那一行JS代码处。调用栈分析与逻辑追溯代码暂停后不要只看当前这一行。查看右侧的Call Stack调用栈。调用栈展示了代码执行的来龙去脉从最底层的网络请求API如fetch或XMLHttpRequest.send一步步向上直到最顶层的业务逻辑函数。我们需要顺着调用栈一层层向上回溯找到那个负责拼接原始参数并进行加密计算的函数。这个函数就是我们的“加密工厂”。算法提取与复现进入“加密工厂”函数后我们的任务就是理解它的逻辑。它接收了哪些参数时间戳、页面信息、用户令牌等它调用了哪些其他的辅助函数可能是哈希函数如MD5、SHA或对称加密如AES或自定义的混淆算法参数的拼接顺序是什么最终将这个逻辑用我们熟悉的编程语言如Python重新实现出来。2.2 必备工具与环境配置工欲善其事必先利其器。以下是进行JS逆向分析的核心工具它们都是免费且强大的。浏览器开发者工具DevTools这是我们的主战场。推荐使用Google Chrome或Microsoft EdgeChromium内核。其开发者工具功能最为全面。关键面板Network网络记录所有网络请求筛选XHR/JS查看请求/响应详情。Sources源代码查看、搜索、调试页面加载的所有JS文件。可以设置断点、单步执行、查看变量值。Console控制台执行临时JS代码查看日志输出。可以在断点暂停时在Console中直接计算表达式测试我们的理解是否正确。Application应用查看本地存储LocalStorage, SessionStorage, Cookies这些常作为加密算法的输入。Node.js环境为了在本地复现加密算法我们需要一个JS运行环境。Node.js是最佳选择。安装后我们可以将找到的加密函数及相关依赖模块剥离出来在Node.js中运行测试确保其逻辑正确再考虑翻译成Python。代码编辑器与调试插件VS Code或WebStorm等。配合Prettier等代码格式化插件有时可以将压缩混淆的JS代码格式化得稍微可读一些。辅助工具可选但强力Overrides重写功能在Chrome DevTools的Sources面板中有一个“Overrides”标签页。你可以将线上的JS文件映射到本地修改后的版本。这对于反复调试、修改算法逻辑进行测试而无需每次刷新都重新寻找断点具有革命性的效率提升。“油猴”脚本Tampermonkey一个浏览器插件允许你编写自定义的JS脚本在页面加载时注入。在逆向后期你可以编写一个简单的油猴脚本在控制台打印出加密函数的输入和输出进行大规模验证。注意现代Web应用普遍采用Webpack等模块化打包工具并将代码进行混淆Obfuscation。混淆后的变量名都变成了a、b、c、0x1234这样的短字符函数逻辑也可能被分割和重组。这增加了阅读难度但没有改变程序的执行逻辑。我们的策略是动态调试关注函数的输入、输出和执行流程而不是去理解每一个重命名后的变量含义。3. 实战演练定位并分析加密参数生成逻辑现在我们进入实战模拟环节。假设我们通过Network面板发现了一个获取商品列表的请求其负载Payload里有一个关键的加密参数叫encryptedData它的值像是一串Base64编码的密文。3.1 捕获请求与初步分析打开目标页面开启DevTools的Network面板并勾选“Preserve log”保留日志。进行触发数据加载的操作如点击搜索、滚动加载。在Network面板中找到类型为fetch或xhr的请求其响应内容为JSON格式的商品数据。点击该请求在“Headers”标签页底部找到“Request Payload”或“Form Data”。假设我们看到这样的负载{ page: 1, size: 20, keyword: 手机, encryptedData: L0w3bKpP12F...很长一串, timestamp: 1687854321000 }很明显page,size,keyword是明文参数而encryptedData是加密后的结果timestamp很可能参与了加密计算。3.2 设置断点与追踪调用栈在该请求上右键选择“Copy - Copy link address”复制请求URL的路径部分比如可能是/api/list。转到Sources面板找到“XHR/Fetch Breakpoints”区域通常在右侧边栏点击“”号添加一个包含/api/list的断点。回到页面再次触发请求例如翻到下一页。此时代码执行会立即暂停。查看Call Stack调用栈。调用栈的最顶部或者靠近顶部可能是send或fetch。我们需要向上查找找到属于我们应用业务逻辑的函数。这些函数名可能已被混淆但我们可以通过其所在的文件通常不是巨大的chunk-vendors.js而是包含业务代码的app.xxx.js和上下文来判断。3.3 深入加密函数内部假设我们在调用栈中找到一个名为n.prototype.getList的函数点击它代码会定位到类似下面的位置这是模拟的混淆后代码function(t) { var e this; return (0, i.request)({ url: /api/list, method: POST, data: (0, a.encryptPayload)(t) // 这里t是明文参数encryptPayload是加密函数 }) }太好了我们找到了加密的入口a.encryptPayload。点击它或者在其上右键选择“Jump to definition”跳转到它的定义处。现在我们进入了可能是最核心的加密函数。它可能看起来非常混乱function(e) { var t, n {}; for (t in e) e.hasOwnProperty(t) (n[t] e[t]); n.timestamp (new Date).getTime(); var r Object.keys(n).sort().map(function(t) { return t n[t] }).join(); return window.encrypt(r) // 关键加密调用 }尽管变量名混乱但逻辑逐渐清晰函数接收一个对象e即原始的{page, size, keyword}。复制这个对象到n。给n添加一个当前的时间戳timestamp。将n的所有键按字母顺序排序然后拼接成key1value1key2value2...格式的字符串r。这是一种常见的生成待签名字符串的方法用于保证参数顺序一致。最后将字符串r传递给一个全局的window.encrypt函数进行加密并返回结果。我们的下一个目标就是找到window.encrypt这个函数的具体实现。在Console面板里输入window.encrypt并回车如果能看到函数定义可以直接查看。但更常见的情况是它被定义在某个巨大的JS文件里。我们可以通过搜索encrypt或者在上一步的代码中对window.encrypt这一行设置一个“普通断点”然后重新触发请求当断点命中时按F11Step into键步入这个函数内部。3.4 解析加密算法步入window.encrypt后我们可能会看到类似这样的代码模拟window.encrypt function(str) { var key CryptoJS.enc.Utf8.parse(一个固定的密钥); var iv CryptoJS.enc.Utf8.parse(一个固定的初始向量); var encrypted CryptoJS.AES.encrypt(CryptoJS.enc.Utf8.parse(str), key, { iv: iv, mode: CryptoJS.mode.CBC, padding: CryptoJS.pad.Pkcs7 }); return encrypted.ciphertext.toString(CryptoJS.enc.Base64); }这是一个非常标准的AES-CBC加密它使用了CryptoJS这个前端流行的加密库。我们成功地将黑盒打开了。现在我们知道算法AES模式CBC填充Pkcs7密钥Key一个固定的密钥需要从代码中获取真实值初始向量IV一个固定的初始向量需要从代码中获取真实值输入按规则排序拼接后的参数字符串。输出Base64编码的密文。实操心得在实际逆向中密钥和IV可能不是硬编码的字符串。它们可能是从Cookie、LocalStorage中读取的或者是通过另一个API请求获取的。这就需要我们继续追溯key和iv变量的来源。如果它们来自网络请求那么我们的复现程序就需要先模拟登录或初始化流程获取这些动态的密钥信息。这是逆向中常见的“套娃”情况需要耐心。4. 算法复现从JavaScript到Python理解了算法逻辑下一步就是用Python或其他后端语言复现它。这里以Python为例我们需要安装pycryptodome库来提供AES加密功能。4.1 环境搭建与库安装首先确保已安装Python然后安装加密库pip install pycryptodome4.2 Python复现代码详解根据我们分析出的AES-CBC算法编写复现代码import base64 import time from Crypto.Cipher import AES from Crypto.Util.Padding import pad class FishEncryptor: def __init__(self, key: str, iv: str): 初始化加密器 :param key: 密钥字符串 :param iv: 初始向量字符串 # CryptoJS默认使用Utf8编码将字符串转换为字节这里保持一致 self.key key.encode(utf-8) self.iv iv.encode(utf-8) # 确保key和iv长度是16字节AES-128如果不是可能需要做处理如MD5哈希 # 实际逆向中需根据JS代码确认这里假设已经是16位 if len(self.key) ! 16: # 常见做法对key进行MD5取16位 from hashlib import md5 self.key md5(self.key).digest() if len(self.iv) ! 16: self.iv self.iv.ljust(16, b\0)[:16] # 不足补零超过截断需按实际逻辑调整 def _generate_param_string(self, params: dict) - str: 模拟JS中的参数排序与拼接逻辑 :param params: 原始参数字典如 {page: 1, size: 20, keyword: 手机} :return: 拼接后的字符串如 keyword手机page1size20×tamp1687854321000 # 1. 添加时间戳与JS逻辑一致 params_with_timestamp params.copy() params_with_timestamp[timestamp] int(time.time() * 1000) # JS getTime() 返回毫秒 # 2. 按键名排序 sorted_keys sorted(params_with_timestamp.keys()) # 3. 拼接成 k1v1k2v2... 格式 param_list [f{k}{params_with_timestamp[k]} for k in sorted_keys] return .join(param_list) def encrypt(self, plain_params: dict) - str: 完整的加密流程 :param plain_params: 明文的请求参数字典 :return: Base64编码的加密字符串 # 1. 生成待加密字符串 to_encrypt_str self._generate_param_string(plain_params) print(f待加密字符串: {to_encrypt_str}) # 2. 进行AES-CBC加密 # 使用PKCS7填充 data_to_encrypt pad(to_encrypt_str.encode(utf-8), AES.block_size) cipher AES.new(self.key, AES.MODE_CBC, self.iv) encrypted_bytes cipher.encrypt(data_to_encrypt) # 3. 返回Base64结果 encrypted_b64 base64.b64encode(encrypted_bytes).decode(utf-8) return encrypted_b64 # 使用示例 if __name__ __main__: # 这里的key和iv需要替换成从JS代码中提取的真实值 encryptor FishEncryptor(key一个固定的密钥, iv一个固定的初始向量) test_params { page: 1, size: 20, keyword: 手机 } encrypted_data encryptor.encrypt(test_params) print(f生成的encryptedData: {encrypted_data})4.3 关键步骤验证与调试编写完复现代码后验证是至关重要的一步本地JS环境验证黄金标准在浏览器的Console面板中将我们找到的window.encrypt函数以及相关的key,iv和参数生成逻辑封装成一个简单的测试函数。然后用相同的输入参数分别运行这个JS测试函数和我们的Python脚本对比输出结果是否完全一致。这是最直接的验证方法。对比网络请求用Python脚本生成加密参数后我们可以使用requests库构造一个完整的HTTP请求发送到目标API。如果返回了正确的数据那么恭喜你复现成功如果失败检查密钥和IV确认从JS中提取的字符串完全正确包括不可见字符。尝试在Console中用escape(key)或btoa(key)查看其精确内容。参数排序规则JS的Object.keys().sort()排序规则可能与Python的sorted()有细微差别特别是对于中文字符或特殊符号。确保完全一致。时间戳同步确保Python生成的时间戳与浏览器生成的时间戳在同一精度都是毫秒级且没有大的延迟。其他隐藏参数检查Network中真实的请求负载是否还有我们遗漏的固定参数或动态参数如从Cookie获取的_m_h5_tk等。注意事项在实际操作中加密算法可能不是标准的AES可能是自定义的混淆算法或者结合了RSA、SM系列国密算法等。思路是一样的在JS调试中找到最终的加密函数理解其每一步操作可能是各种位运算、字符串替换、数组反转等然后耐心地用Python模拟出来。对于复杂算法可以尝试将关键的JS函数代码直接“抠”出来使用execjs或PyExecJS库在Python中调用Node.js来执行作为过渡方案但这会降低效率并增加依赖。5. 常见问题排查与进阶技巧即使按照流程操作你也可能会遇到各种“坑”。这里记录一些典型问题及解决思路。5.1 高频问题速查表问题现象可能原因排查思路复现的加密结果与浏览器不一致1. 密钥/IV错误或编码问题。2. 参数拼接顺序或格式错误。3. 时间戳等动态输入不一致。4. 算法细节未抓全如加密前对字符串做了哈希。1. 在JS加密函数入口和出口打日志打印出精确的输入字符串和输出结果与Python中间结果逐字符对比。2. 检查键名排序是否完全按字母顺序ASCII。3. 将Python的时间戳固定为JS调试时捕获的值进行测试。4. 单步调试JS确认加密前是否还有MD5、SHA1等预处理。无法在Sources中找到加密函数1. 代码被重度混淆和压缩。2. 加密逻辑在Web Worker或异步加载的脚本中。3. 使用了eval或Function构造函数动态执行代码。1. 依赖“XHR/Fetch断点”和“调用栈”不依赖搜索函数名。2. 在Network面板查看JS文件加载顺序关注较晚加载的小文件。3. 在Console对Function、eval设置断点在Sources面板的“Event Listener Breakpoints”中。加密函数依赖了浏览器环境对象如window.btoa,navigatorJS代码使用了浏览器特有的API。1. 在Node.js复现时使用globalThis.btoa ...或global.navigator {userAgent: ...}模拟这些对象。2. 更彻底的方法是分析这些API的作用如btoa是Base64编码直接用Python的base64.b64encode替代。密钥是动态从网络请求获取的加密前需要先发起一个初始化请求来获取密钥。1. 在Network面板搜索key、token、secret等关键词的请求。2. 分析登录流程或页面初始化流程模拟获取动态密钥的请求。这通常意味着你的爬虫需要维护一个会话Session并可能要先模拟登录。算法中包含了随机数或盐Salt每次加密结果都不同增加了逆向难度。1. 分析随机数的生成规则。如果是Math.random()在JS中可以通过Hook钩子函数固定其返回值进行调试。2. 确认盐值是否来自某个固定值或可预测的源如用户ID时间戳哈希。5.2 进阶调试技巧Hook与代码重写当遇到顽固的、难以定位的加密或者想批量验证时可以尝试更高级的技巧。Hook钩子函数在JS代码执行前注入我们自己的代码拦截对特定函数或属性的调用。例如我们怀疑加密用了CryptoJS.AES.encrypt可以在页面加载前通过油猴脚本或DevTools的Snippet功能注入以下代码// 保存原函数 var _originalEncrypt CryptoJS.AES.encrypt; // 重写函数 CryptoJS.AES.encrypt function(data, key, cfg) { console.log(AES.encrypt被调用); console.log(输入数据:, data); console.log(密钥:, key); console.log(配置:, cfg); // 调用原函数 var result _originalEncrypt.call(this, data, key, cfg); console.log(加密结果:, result); return result; };这样每次加密发生时所有关键信息都会在控制台打印出来一目了然。使用Overrides本地替换JS文件在DevTools的Sources面板找到包含加密逻辑的JS文件。右键点击文件内容选择“Save for overrides”将其保存到本地一个文件夹。在本地用编辑器打开该文件在加密函数里加入debugger;语句或console.log打印语句。刷新页面DevTools会自动加载你修改后的本地文件代码会停在你的debugger;处方便你反复调试无需每次重新搜索断点。5.3 关于混淆代码的阅读策略面对a b ^ c; d e 3;这样的混淆代码不要试图去理解每一行。关注输入输出在函数入口和出口记录参数和返回值。关注关键操作留意String.fromCharCode、charCodeAt、^异或、与、|或、左移、右移等操作这些常是自定义编码或加密的特征。尝试分段执行在Console中将函数内的某一段逻辑复制出来赋予具体的测试值看它返回什么从而理解其功能。利用格式化工具虽然不能还原变量名但格式化工具能让代码结构如循环、条件判断清晰可见有助于理解逻辑流。逆向工程是一场耐心的较量。它考验的不是你破解密码的能力而是你阅读代码、理解逻辑、调试程序和系统化思考的能力。每一次成功的逆向都会让你对Web技术的理解更深一层。记住我们的初衷学习技术原理合规使用数据。
