1. 为什么选择Aiohttp来爬取小说榜单在Python爬虫领域Requests库可能是最广为人知的HTTP客户端库。但当你需要同时抓取几十页小说排行榜数据时传统的同步请求方式就显得力不从心了。我曾经用Requests抓取20页小说数据足足等了近1分钟——直到尝试了Aiohttp同样的任务3秒就能完成。Aiohttp是基于Python原生异步库Asyncio的HTTP框架它的核心优势在于非阻塞I/O。简单来说当程序发出网络请求时CPU不用干等着服务器响应而是可以继续处理其他任务。想象你在快餐店点餐同步请求就像排长队一个个点单而异步并发则是同时开放十个点餐窗口。实测对比数据很能说明问题同步请求20页小说数据平均耗时58秒Aiohttp并发请求20页数据平均耗时2.8秒资源占用方面Aiohttp的内存消耗仅为同步方式的70%2. 搭建异步爬虫开发环境2.1 基础环境配置我推荐使用Python 3.8版本这是经过多个生产环境验证最稳定的Asyncio运行版本。别小看版本选择之前用Python 3.6就遇到过事件循环不稳定的坑。安装核心依赖其实很简单pip install aiohttp3.8.4 bs44.12.0 pandas2.0.3这里特别指定版本号是为了避免依赖冲突。遇到过有人装最新版aiohttp导致SSL证书错误回退到3.8.4就正常了。验证安装是否成功可以这样操作import aiohttp print(aiohttp.__version__) # 应该输出3.8.42.2 开发工具建议虽然Jupyter Notebook适合快速验证但我强烈建议使用PyCharm专业版开发完整爬虫项目。它的异步调试功能简直救命——能清晰看到每个协程的执行状态。配置运行时记得勾选Gevent compatible选项这样断点调试时才不会卡住事件循环。3. 实战爬取起点热销榜完整流程3.1 页面结构分析技巧先打开起点中文网的24小时热销榜页面注意要登录状态访问否则可能触发反爬。关键发现分页参数在URL中直接体现page1到page100小说数据直接渲染在HTML中不需要处理API接口每本小说的信息包裹在div classbook-mid-info标签内用Chrome开发者工具检查时重点看Network面板的Doc类型请求。有个容易忽略的细节起点网会在Cookie中埋入登录态但我们的示例不需要登录也能获取基础榜单信息。3.2 核心代码实现先看完整的异步处理框架import aiohttp import asyncio from bs4 import BeautifulSoup async def fetch_page(url): async with aiohttp.ClientSession() as session: async with session.get(url) as response: return await response.text() async def scrape_multiple_pages(pages): tasks [] for page in range(1, pages1): url fhttps://www.qidian.com/rank/hotsales/page{page}/ tasks.append(fetch_page(url)) return await asyncio.gather(*tasks)这里有两个关键点ClientSession必须放在async函数内创建全局session会导致连接池异常asyncio.gather就像同时发射多支箭比挨个等待效率高得多3.3 数据解析与存储用BeautifulSoup解析要注意它的方法默认是阻塞式的。我推荐使用lxml作为解析器def parse_html(html): soup BeautifulSoup(html, lxml) books [] for item in soup.select(.book-mid-info): books.append({ title: item.select_one(h2).get_text().strip(), author: item.select_one(.name).get_text(), intro: item.select_one(.intro).get_text(stripTrue) }) return books存储到CSV时有个坑异步任务可能同时写入文件。我的解决方案是先用内存暂存数据最后统一写入import csv def save_to_csv(data, filename): with open(filename, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnames[title, author, intro]) writer.writeheader() writer.writerows(data)4. 高级优化技巧4.1 并发量控制策略无限制并发会把服务器搞垮。Aiohttp提供了信号量控制sem asyncio.Semaphore(10) # 最大10个并发 async def limited_fetch(url): async with sem: return await fetch_page(url)根据实测对起点网设置5-10个并发比较合适。太低了浪费性能太高了可能触发429错误。4.2 自动重试机制网络请求难免失败给关键请求加上重试async def fetch_with_retry(url, retries3): for i in range(retries): try: return await fetch_page(url) except aiohttp.ClientError as e: if i retries - 1: raise await asyncio.sleep(2**i) # 指数退避4.3 性能监控方案想知道哪部分最耗时可以添加简单监控async def timed_fetch(url): start time.monotonic() try: result await fetch_page(url) elapsed time.monotonic() - start print(f{url} fetched in {elapsed:.2f}s) return result except Exception as e: print(f{url} failed after {time.monotonic()-start:.2f}s) raise5. 常见问题解决方案5.1 SSL证书错误处理在某些Windows环境下可能出现SSL错误这时需要调整客户端配置conn aiohttp.TCPConnector(sslFalse) # 不推荐生产环境使用 async with aiohttp.ClientSession(connectorconn) as session: ...更安全的做法是手动指定证书路径conn aiohttp.TCPConnector(ssl_contextssl.create_default_context())5.2 代理设置技巧如果需要通过代理访问async with session.get(url, proxyhttp://proxy.example.com) as resp: ...注意代理字符串要包含协议头http://或https://5.3 超时设置建议默认情况下请求可能无限挂起必须设置合理超时timeout aiohttp.ClientTimeout(total30) # 30秒总超时 async with session.get(url, timeouttimeout) as resp: ...6. 项目完整代码结构最终项目的标准目录结构应该是这样的novel_spider/ ├── main.py # 主逻辑 ├── utils.py # 工具函数 ├── config.py # 配置项 └── requirements.txt在main.py中实现运行入口async def main(): htmls await scrape_multiple_pages(20) all_books [] for html in htmls: all_books.extend(parse_html(html)) save_to_csv(all_books, qidian_top100.csv) if __name__ __main__: asyncio.run(main())这种结构方便后续扩展成分布式爬虫。我曾经用这个基础框架改造出了能抓取全网小说数据的系统日均处理超过100万页面。
的识别与规避)
