影刀RPA 网页详情页批量采集列表到详情跳转作者林焱什么情况用什么采集列表页只能拿到标题和摘要完整信息在详情页里——商品详情、文章正文、公司信息等。需要在影刀RPA中先采集列表页的链接再逐个打开详情页提取深度数据。这个列表→详情的两级采集是网页数据采集最核心的模式。适用场景电商商品完整信息采集、新闻文章正文采集、企业黄页详情采集、招聘网站职位详情。怎么做完整流程设计1. 【打开网页】→ 列表页URL 2. 【提取相似元素】→ 提取列表页所有详情链接 3. 【循环遍历】→ 逐个打开详情页 4. 【等待元素出现】→ 等待详情页加载 5. 【提取数据】→ 提取详情页字段 6. [video(video-oniAuA6S-1784737862161)(type-csdn)(url-https://live.csdn.net/v/embed/525010)(image-https://v-blog.csdnimg.cn/asset/f4faa587144cb7070f19e8b36813806b/cover/Cover0.jpg)(title-店群矩阵自动化突破运营极限)] 7. 【翻页】→ 回到列表页翻下一页 8. 循环1-6直到所有页采完第一步采集列表页链接frombs4importBeautifulSoupimportrequestsdefget_detail_links(list_url,headersNone):从列表页提取所有详情页链接ifheadersisNone:headers{User-Agent:Mozilla/5.0...}responserequests.get(list_url,headersheaders,timeout10)soupBeautifulSoup(response.text,html.parser)links[]# 根据实际网站调整选择器itemssoup.select(.list-item a.title, .product-item a, .article-title a)foriteminitems:hrefitem.get(href,)ifnothref:continue# 处理相对路径ifhref.startswith(//):hrefhttps:hrefelifhref.startswith(/):hrefrequests.compat.urljoin(list_url,href)# 去重ifhrefnotinlinks:links.append(href)returnlinks# 采集多页链接defget_all_links(base_url,max_pages10):采集所有页的详情链接all_links[]forpageinrange(1,max_pages1):urlf{base_url}?page{page}linksget_detail_links(url)ifnotlinks:print(f第{page}页无链接停止)breakall_links.extend(links)print(f第{page}页获取{len(links)}个链接累计{len(all_links)}个)returnall_links第二步采集详情页数据importtimedefscrape_detail_page(url,headersNone):采集单个详情页ifheadersisNone:headers{User-Agent:Mozilla/5.0...}try:responserequests.get(url,headersheaders,timeout15)response.encodingresponse.apparent_encoding soupBeautifulSoup(response.text,html.parser)data{来源URL:url}# 标题data[标题]safe_text(soup.select_one(h1.title, h1, .detail-title))# 价格data[价格]safe_text(soup.select_one(.price, .detail-price))# 正文/描述data[描述]safe_text(soup.select_one(.description, .detail-content, .content))# 规格specssoup.select(.spec-item, .attr-item)forspecinspecs:labelsafe_text(spec.select_one(.label, .name))valuesafe_text(spec.select_one(.value, .text))iflabel:data[label]value# 图片imagessoup.select(.detail-image img, .gallery img)data[图片列表]|.join([img.get(src,)forimginimages])returndataexceptExceptionase:return{来源URL:url,错误:str(e)}defsafe_text(element):安全提取文本ifelement:returnelement.get_text(stripTrue)return第三步批量采集保存importpandasaspdimportosdefbatch_scrape_details(base_url,output_file,max_pages10,delay1):批量采集详情页# 1. 采集所有链接print(开始采集列表页链接...)all_linksget_all_links(base_url,max_pages)print(f共获取{len(all_links)}个详情链接)# 2. 逐个采集详情all_data[]fori,linkinenumerate(all_links,1):print(f正在采集第{i}/{len(all_links)}个:{link})datascrape_detail_page(link)all_data.append(data)# 每采集10条保存一次防止中途崩溃丢数据ifi%100:temp_dfpd.DataFrame(all_data)temp_df.to_excel(output_file,indexFalse)print(f 已保存{len(all_data)}条)# 延迟避免被封time.sleep(delay)# 3. 最终保存dfpd.DataFrame(all_data)df.to_excel(output_file,indexFalse)print(f采集完成共{len(df)}条保存到{output_file})returndf# 使用batch_scrape_details(base_urlhttps://example.com/products,output_filerC:\Data\product_details.xlsx,max_pages5,delay1.5)在影刀RPA中的完整流程【设置变量】all_data [] 【循环】页码 1 到 10 【打开网页】列表页URL 页码 【等待元素出现】.list-item 【提取相似元素数据】→ 获取所有详情链接 【循环】遍历每个链接 【打开新标签页】详情页URL 【等待元素出现】.detail-title 【提取数据】标题、价格、描述等 【关闭标签页】 【等待】1秒 【结束循环】 【点击元素】下一页按钮 【结束循环】 【写入Excel文件】all_data断点续采defresume_scrape(link_file,output_file,delay1):断点续采跳过已采集的链接# 读取所有链接withopen(link_file,r)asf:all_links[line.strip()forlineinfifline.strip()]# 读取已采集的链接scraped_urlsset()ifos.path.exists(output_file):existing_dfpd.read_excel(output_file)scraped_urlsset(existing_df[来源URL].tolist())# 只采集未完成的pending[lforlinall_linksiflnotinscraped_urls]print(f总共{len(all_links)}个已完成{len(scraped_urls)}个剩余{len(pending)}个)all_data[]ifscraped_urls:all_datapd.read_excel(output_file).to_dict(records)fori,linkinenumerate(pending,1):datascrape_detail_page(link)all_data.append(data)ifi%50:pd.DataFrame(all_data).to_excel(output_file,indexFalse)print(f已保存{len(all_data)}条)time.sleep(delay)pd.DataFrame(all_data).to_excel(output_file,indexFalse)returnlen(all_data)有什么坑坑1详情页结构不统一同样是详情页有的有价格有的没有有的多了个推荐区——采集代码报错中断# 解决所有提取都用safe_text返回空字符串而非报错defsafe_text(element):try:returnelement.get_text(stripTrue)ifelementelseexcept:return# 字段缺失时给默认值data[价格]safe_text(soup.select_one(.price))or未知坑2详情页打开失败某些链接404或超时导致整个采集中断temu店群自动化报活动案例# 解决try-except包裹记录失败继续下一个forlinkinall_links:try:datascrape_detail_page(link)all_data.append(data)exceptrequests.Timeout:print(f超时:{link})all_data.append({来源URL:link,错误:超时})exceptrequests.ConnectionError:print(f连接失败:{link})all_data.append({来源URL:link,错误:连接失败})time.sleep(5)# 等待网络恢复exceptExceptionase:print(f错误:{link}-{e})all_data.append({来源URL:link,错误:str(e)})坑3详情页需要登录列表页不需要登录但详情页需要登录才能看完整内容# 解决在影刀中用浏览器模式采集# 先【执行登录流程】保持登录态# 然后用【打开网页】【提取数据】而非requests# 或者在requests中带Cookiesessionrequests.Session()# 先登录获取Cookielogin_data{username:xxx,password:xxx}session.post(https://example.com/login,datalogin_data)# 后续请求自动带Cookieresponsesession.get(detail_url)坑4详情页数据是AJAX加载页面打开后内容是空的数据通过JS异步加载# 解决1找到API接口直接请求# F12 → Network → XHR → 找到数据接口api_urlfhttps://example.com/api/product/{product_id}responserequests.get(api_url,headersheaders)dataresponse.json()# 解决2用影刀浏览器等待# 【打开网页】→ 【等待元素出现】.detail-content超时10秒→ 【提取数据】坑5采集速度太快被封IP# 解决随机延迟 代理IP轮换importrandom# 随机延迟delayrandom.uniform(1,3)# 1-3秒随机time.sleep(delay)# 代理IP轮换proxy_pool[http://ip1:port,http://ip2:port,]forlinkinall_links:proxy{http:random.choice(proxy_pool)}try:responserequests.get(link,headersheaders,proxiesproxy,timeout10)except:# 代理失败用本机IPresponserequests.get(link,headersheaders,timeout10)
)
