1. 项目概述贴吧内容爬取与Markdown归档工具这个Python爬虫项目专为贴吧内容收集者设计能够自动抓取指定贴吧页面的主题帖、正文内容以及楼中楼评论并将这些信息结构化地保存为Markdown格式文件。对于需要长期跟踪某个话题讨论、进行网络舆情分析或单纯想保存优质帖子的用户来说这个工具能节省大量手动复制粘贴的时间。我选择百度贴吧作为抓取对象主要基于三个考虑首先这是中文互联网最大的论坛式平台内容更新频繁且讨论主题丰富其次其网页结构相对稳定不像某些社交平台频繁改版最重要的是贴吧的公开性使得这类爬虫在合理使用范围内不会涉及法律风险。2. 技术栈与工具选型2.1 核心库说明我们使用requests库进行网页请求而不是urllib主要因为自动处理连接池和Keep-Alive支持会话保持Session更人性化的API设计内置连接重试机制import requests from bs4 import BeautifulSoup import re import os import time2.2 反爬应对策略贴吧的基础反爬措施包括请求频率检测需控制访问间隔User-Agent验证需模拟浏览器Cookie验证需维持会话建议的请求头配置headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Referer: https://tieba.baidu.com/, Cookie: 你的登录Cookie非必须 }3. 网页结构分析与XPath定位3.1 主题列表页解析贴吧列表页如https://tieba.baidu.com/f?kwpython的关键元素帖子标题//div[contains(class, threadlist_title)]/a作者信息//span[contains(class, frs-author-name)]回复数量//span[contains(class, threadlist_rep_num)]def parse_thread_list(html): soup BeautifulSoup(html, lxml) threads [] for item in soup.select(.threadlist_title a): threads.append({ title: item.text.strip(), url: https://tieba.baidu.com item[href] }) return threads3.2 帖子详情页解析帖子正文的典型结构div classd_post_content_main div classp_content cc div classd_post_content这里是正文内容/div /cc /div /div评论区域的定位技巧楼中楼使用classlzl_content标记需要特别注意带图片的表情符号会被转义成[emot]标签4. 完整爬虫实现流程4.1 主爬虫类设计class TiebaSpider: def __init__(self, kw, max_page5): self.base_url fhttps://tieba.baidu.com/f?kw{kw} self.session requests.Session() self.session.headers.update(headers) self.max_page max_page def get_threads(self): # 实现分页抓取逻辑 pass def parse_thread(self, url): # 解析单个帖子详情 pass def save_as_md(self, data, filename): # Markdown格式化存储 pass4.2 分页抓取实现处理分页的关键点观察URL参数规律如pn50表示第二页控制请求间隔建议3-5秒处理可能的验证码页面for page in range(0, self.max_page*50, 50): url f{self.base_url}pn{page} time.sleep(random.uniform(3, 5)) response self.session.get(url) threads self.parse_thread_list(response.text) # 后续处理...5. Markdown格式化存储5.1 内容清洗策略需要特殊处理的内容类型图片链接转换为Markdown图片语法视频内容保留原链接表情符号替换为文字描述广告内容通过class识别并过滤def clean_content(text): # 处理图片 text re.sub(rimg.*?src(.*?).*?, , text) # 去除HTML标签 text re.sub(r[^], , text) return text.strip()5.2 文件存储方案建议的文件命名规则贴吧名_帖子ID_抓取日期.md文件内容结构示例# 帖子标题 **作者**某某某 **发布时间**2023-07-15 10:30 **回复数**42 --- ## 正文内容 这里是帖子正文内容... ## 热门评论 1. 用户A评论内容... - 回复1... - 回复2... 2. 用户B评论内容...6. 反爬进阶与优化方案6.1 IP代理池集成当频繁请求时建议使用代理IPproxies { http: http://proxy_ip:port, https: http://proxy_ip:port } response requests.get(url, proxiesproxies)6.2 验证码处理方案遇到验证码时的应对策略降低请求频率使用打码平台如第三方API切换IP地址模拟人工操作轨迹7. 项目扩展方向7.1 定时增量抓取通过记录最后抓取位置实现增量更新def get_last_crawled(): # 从数据库或文件读取上次抓取进度 pass def update_progress(thread_id): # 更新抓取进度 pass7.2 数据统计分析基于抓取内容可进行的分析热词词云生成用户活跃度统计情感倾向分析话题演化追踪from wordcloud import WordCloud import jieba def generate_wordcloud(text): wordlist jieba.cut(text) wc WordCloud(font_pathsimhei.ttf) wc.generate( .join(wordlist)) wc.to_file(output.png)8. 常见问题排查指南问题现象可能原因解决方案返回空数据网页结构变更更新XPath定位403禁止访问IP被封禁更换UserAgent或使用代理内容乱码编码问题response.encodingutf-8部分内容缺失动态加载分析接口或使用Selenium重要提示实际运行中如果频繁遇到验证码建议将请求间隔增加到10秒以上这是合规爬取的关键9. 完整代码示例# 省略import部分... class TiebaSpider: # 初始化方法... def run(self): for page in range(0, self.max_page*50, 50): threads self.get_page_threads(page) for thread in threads: detail self.parse_thread(thread[url]) self.save_as_md(detail) def get_page_threads(self, pn): url f{self.base_url}pn{pn} time.sleep(5) try: response self.session.get(url) soup BeautifulSoup(response.text, lxml) return [ { title: a.text.strip(), url: https://tieba.baidu.com a[href] } for a in soup.select(.threadlist_title a) ] except Exception as e: print(f获取页面失败: {e}) return [] # 其他方法实现...10. 法律与道德注意事项严格遵守robots.txt协议贴吧的规则可通过https://tieba.baidu.com/robots.txt查看控制请求频率单IP建议不超过10次/分钟不得抓取用户隐私信息如手机号、身份证等商业用途需获得平台授权存储的数据不得用于非法用途在实际项目中我通常会添加--delay参数来控制请求间隔既保护目标网站也避免自己的IP被封。对于需要长期运行的情况建议将抓取任务分散到不同时段执行。
