影刀RPA文本数据提取方法二JSON解析提取作者林焱 | 适合人群需要解析接口返回数据或网页隐藏JSON的新手什么情况用什么打开Chrome开发者工具Network面板你会发现很多网页的数据是通过Ajax接口返回的JSON而不是写在HTML里。比如抖音用户作品、淘宝商品详情、小红书笔记内容——这些数据都在JSON里直接从HTML提取很麻烦但解析JSON只需几步。什么情况用JSON解析网页是前后端分离的数据通过API加载你要的数据在Network请求的返回里网页源码里有script标签包含JSON数据批量采集对速度有要求怎么做第一步找到数据所在的接口Chrome打开目标网页F12 → Network面板筛选XHR或Fetch请求逐个查看响应找到包含你要数据的那个请求复制这个请求的URL和Headers后面要用第二步在影刀里发送HTTP请求拿到JSON用「发送HTTP请求」指令请求方式GET通常是GET少数是POSTURL填刚才复制的接口地址Headers填Cookie、User-Agent等从Chrome里复制店群矩阵自动化突破运营极限返回结果保存到变量response_json第三步解析JSON数据影刀里用「JSON解析」指令接口返回{aweme_list:[{aweme_id:123,desc:标题A,statistics:{digg_count:1000}}]}解析步骤「JSON解析」→ 解析response_json保存到data_obj「获取JSON值」→data_obj[aweme_list]保存到list「ForEach」循环list每次取一个作品对象「获取JSON值」→item[desc]提取标题「获取JSON值」→item[statistics][digg_count]提取点赞数实战案例采集知乎问题下的前20个回答知乎的回答数据接口GET https://www.zhihu.com/api/v4/questions/{question_id}/answers?limit20返回的JSON结构{data:[{author:{name:用户A},content:回答内容...,voteup_count:1234}]}影刀流程「发送HTTP请求」→ 请求上述接口拿到response「JSON解析」→ 解析response存到json_obj「获取JSON值」→json_obj[data]存到answers「ForEach」循环answers提取item[author][name]→ 作者提取item[content]→ 内容需要处理HTML标签提取item[voteup_count]→ 点赞数写入Excel有什么坑坑1接口需要登录才能访问很多网站的API需要登录态Cookie。直接发请求会返回401或403。解决方案在Chrome里登录账号F12 → Application → Cookies复制目标网站的Cookie在影刀的HTTP请求Headers里加上Cookie: xxx坑2接口有反爬请求频率过高会封IP解决方案每次请求后加「等待」2-5秒在HTTP请求Header里加上真实的User-Agent如果需要大规模采集用代理IP坑3JSON结构嵌套很深一层层取很麻烦比如data[a][b][c][d]写起来很长。解决方案影刀支持用路径表达式一次性取深层值temu店群自动化报活动案例获取JSON值data[a.b.c.d] ← 有些版本支持用.连接如果不支持只能一层层取。坑4接口返回的是HTML而不是JSON有些网站的接口看起来像API但其实返回的是HTML片段。解决方案先检查HTTP响应的Content-Type头。如果是text/html说明返回的是HTML需要用元素捕获或正则提取不能用JSON解析。坑5POST接口的参数构造很复杂有些接口是POST需要构造复杂的请求体Body。解决方案在Chrome的Network面板里找到该请求的Payload或Request Body复制完整的JSON体在影刀的HTTP请求里选Body类型JSON粘贴刚才复制的内容注意把动态参数换成变量总结JSON解析提取的核心绕过HTML直接拿数据接口。三步找接口 → 发请求 → 解析JSON。比从HTML里一个个提取快10倍。下一篇讲文本数据提取方法三指令提取用影刀内置指令做文本处理适合不会正则也不会JSON解析的新手。作者林焱
