1. 项目背景与核心价值每次想尝试新菜谱时你是不是也遇到过这些烦恼打开美食网站要反复刷新页面广告弹窗不断干扰网络不稳定时连配料表都加载不全。更糟的是当你真正站在厨房准备大展身手时手机屏幕沾上面粉后怎么划都失灵...这个Python菜谱爬虫项目就是为了解决这些痛点而生的。作为一名常年与代码和厨房打交道的开发者我花了三个月时间迭代了7个版本最终打磨出这套稳定高效的解决方案。它能从主流美食网站抓取完整菜谱信息包含菜名、用料清单、详细步骤并自动生成离线文档。实测下来完整爬取1000份菜谱只需12分钟生成的CSV文件在手机、平板、Kindle上都能流畅浏览。关键优势数据结构化存储支持CSV/TXT、反爬策略自适应、多线程加速采集。即使完全没有爬虫基础按照本文步骤也能在1小时内完成部署。2. 环境配置与工具选型2.1 Python环境搭建推荐使用Python 3.8版本这是目前最稳定的爬虫开发环境。通过以下命令检查版本并安装依赖库python --version # 确认版本 pip install requests beautifulsoup4 pandas fake-useragentrequests网络请求核心库比urllib更友好beautifulsoup4HTML解析神器简称bs4pandas数据存储与导出支持CSV/TXTfake-useragent伪装浏览器头防反爬避坑提示Windows用户若遇到SSL错误需执行pip install --upgrade certifi更新证书库。2.2 开发工具配置我用VS Code演示操作流程关键插件如下Python扩展必备Code Runner一键执行脚本CSV Viewer预览生成文件# 测试环境是否正常 import requests from bs4 import BeautifulSoup print(所有依赖库已就绪)3. 目标网站分析与爬虫设计3.1 选择合适的美食网站经过对比测试推荐以下两个适合爬取的网站下厨房结构清晰反爬温和美食天下菜谱数量庞大以红烧肉为例观察下厨房的页面结构菜名h1 classpage-title用料div classings下的tr列表步骤div classsteps中的li段落3.2 爬虫逻辑流程图开始 → 获取分类列表 → 进入详情页 → 解析数据 → 存储到CSV → 检查下一页 → 结束关键技术点使用time.sleep(2)控制请求频率随机切换User-Agent头异常捕获重试机制4. 核心代码实现详解4.1 网页请求与解析def get_recipe(url): headers {User-Agent: UserAgent().random} try: response requests.get(url, headersheaders, timeout10) soup BeautifulSoup(response.text, html.parser) # 提取菜名 title soup.find(h1, class_page-title).get_text().strip() # 提取用料 ingredients [] for item in soup.select(div.ings tr): name item.find(td, class_name).get_text().strip() amount item.find(td, class_amount).get_text().strip() ingredients.append(f{name} {amount}) # 提取步骤 steps [step.get_text().strip() for step in soup.select(div.steps li)] return {title: title, ingredients: ingredients, steps: steps} except Exception as e: print(f抓取失败: {url} 错误: {e}) return None4.2 数据存储模块使用pandas保存为CSV和TXT双格式def save_to_file(recipes, filename): df pd.DataFrame(recipes) # CSV格式适合表格查看 df.to_csv(f{filename}.csv, indexFalse, encodingutf-8-sig) # TXT格式适合手机阅读 with open(f{filename}.txt, w, encodingutf-8) as f: for recipe in recipes: f.write(f【{recipe[title]}】\n用料:\n) f.write(\n.join(recipe[ingredients]) \n步骤:\n) f.write(\n.join(recipe[steps]) \n\n)5. 高级优化技巧5.1 突破反爬限制实测有效的三种策略IP轮询使用免费代理池如github.com/jundiyy/free-proxy-listproxies {http: http://123.123.123.123:8080} requests.get(url, proxiesproxies)请求间隔随机化time.sleep(random.uniform(1, 3))模拟浏览器行为添加Cookie和Referer头5.2 多线程加速使用concurrent.futures实现并行抓取from concurrent.futures import ThreadPoolExecutor def crawl_category(base_url): with ThreadPoolExecutor(max_workers5) as executor: futures [executor.submit(get_recipe, url) for url in recipe_urls] return [f.result() for f in futures if f.result()]注意线程数建议控制在5以内避免触发网站防护6. 成果展示与使用技巧6.1 生成文件示例CSV文件结构title,ingredients,steps 红烧肉,[五花肉 500g,冰糖 20g],[肉切块焯水,炒糖色...]TXT文件效果【红烧肉】 用料: 五花肉 500g 冰糖 20g 步骤: 1. 肉切块焯水... 2. 炒糖色至琥珀色...6.2 手机端优化方案CSV文件用WPS Office打开启用冻结首行TXT文件推荐使用静读天下APP支持目录跳转Kindle用户用Calibre转换为MOBI格式7. 常见问题解决方案7.1 编码错误处理遇到UnicodeEncodeError时import sys sys.setdefaultencoding(utf-8) # Python2需要 with open(file.txt, w, encodingutf-8-sig) as f: # Python3方案7.2 元素定位失效当网站改版导致选择器失效时使用浏览器开发者工具重新分析F12备用方案改用XPath定位from lxml import etree tree etree.HTML(response.text) title tree.xpath(//h1[classnew-title]/text())[0]7.3 数据清洗技巧去除多余空白和广告文本import re clean_text re.sub(r\s, , raw_text).strip()这套系统我已经稳定运行两年累计爬取超过3万份菜谱。最近新增的智能推荐功能可以根据已有食材自动匹配菜谱。比如输入鸡肉、土豆就能立即生成10种相关做法。这种个性化体验是传统美食APP难以实现的
