1. 项目概述当自动化测试遇上“检测墙”做Web自动化测试的朋友尤其是搞数据采集或者需要模拟真实用户行为的肯定都遇到过这个头疼的问题脚本跑得好好的突然就被目标网站给“封”了。页面打不开或者直接弹出一个验证码告诉你“检测到自动化工具”。这堵看不见的“检测墙”是Selenium这类经典自动化框架的阿喀琉斯之踵。它通过检测浏览器指纹比如navigator.webdriver属性、典型的自动化特征等来识别并拦截自动化脚本。我最近在为一个电商价格监控项目做测试框架升级就深陷这个泥潭。用传统的Selenium ChromeDriver跑不了几次目标网站的登录接口就开始频繁报错要求进行滑块验证。项目几乎停滞。为了解决这个问题我深入折腾了市面上几种主流的反检测方案最终将SeleniumBase和undetected-chromedriver这两个利器进行了深度集成形成了一套稳定、高效且易于维护的反检测测试方案。这套方案的核心思想不是“硬闯”而是“伪装”——让我们的自动化浏览器在目标网站看来就是一个普通用户在手动操作。简单来说这个方案能帮你绕过检测有效规避大多数基于浏览器指纹的自动化检测。提升稳定性大幅减少因被检测而导致的脚本中断、验证码弹出等问题。简化流程利用SeleniumBase的优秀封装降低使用undetected-chromedriver的复杂度。适合人群需要进行长期、稳定Web自动化测试或数据采集的测试工程师、开发者和数据分析师。2. 核心思路与技术选型解析为什么是SeleniumBase undetected-chromedriver这个组合这背后是基于对问题本质和工具特性的深度考量。2.1 问题根源网站如何检测Selenium网站检测自动化脚本的手段多种多样但核心离不开几个关键指纹navigator.webdriver属性这是最经典的标志。在普通Chrome中这个属性是undefined或false而在由ChromeDriver控制的浏览器中它被设置为true。很多检测脚本第一行就是查这个。CDP (Chrome DevTools Protocol) 痕迹自动化工具会留下特定的CDP命令调用痕迹例如WebDriver等。插件与扩展ChromeDriver通常会加载一些用于控制的内部扩展这些扩展的ID或名称具有特征性。浏览器参数 (Launch Arguments)自动化启动的浏览器常常带有--enable-automation、--disable-blink-featuresAutomationControlled等特定命令行参数虽然这些参数本意是禁用一些提示但反而成了特征。行为模式过于规律、快速的鼠标移动、点击以及非人类的页面停留、滚动时间等。2.2 方案对比为什么不是其他工具面对检测社区主要有几种思路Puppeteer-extra 与 Stealth 插件在Node.js生态中这是黄金组合。它通过一系列插件在启动时修改浏览器环境效果非常好。但对于Python技术栈或已有Selenium资产的项目迁移成本较高。纯 undetected-chromedriver这是一个Python库直接对官方的chromedriver二进制文件进行打补丁移除或修改其中的检测特征。它非常强大几乎是目前Python生态下反检测的底层最优解。但它的API相对原始需要使用者自己处理Driver的启动、管理和Selenium的集成在复杂测试场景下不够便捷。SeleniumBase这是一个基于Selenium进行深度封装和增强的测试框架。它提供了开箱即用的丰富功能如自动下载管理Driver、一键式命令行工具、漂亮的测试报告、智能等待等。但它原生的反检测能力有限。2.3 最终选择强强联合的集成方案我们的选择是以SeleniumBase作为高层测试框架和基础设施底层驱动替换为undetected-chromedriver。这样做的优势显而易见继承SeleniumBase的所有优点无需操心Driver版本匹配、自动重试、报告生成、页面对象模型等高级特性提升开发效率。获得undetected-chromedriver的底层反检测能力从根源上修改浏览器指纹绕过检测的可靠性最高。架构清晰维护方便我们只需要定制SeleniumBase的浏览器启动逻辑其他所有测试代码、断言、页面交互都沿用标准的SeleniumBase写法学习成本和维护成本最低。灵活性高可以根据不同测试用例的需要灵活选择是否启用反检测模式。注意没有任何一种反检测方案是100%永久有效的。网站的反爬、反自动化技术也在不断升级。我们的方案旨在解决绝大多数常规检测并为应对更高级的检测如Canvas指纹、WebGL指纹、高级行为分析提供一个可扩展的基础。3. 环境搭建与核心配置详解理论清楚了我们开始动手。集成的关键在于如何让SeleniumBase使用我们定制的、经过undetected-chromedriver处理的浏览器驱动。3.1 基础环境准备首先安装必要的Python包。建议使用虚拟环境。pip install seleniumbase undetected-chromedriverseleniumbase会自动安装selenium。undetected-chromedriver是我们的核心反检测库。3.2 创建自定义的Browser启动器SeleniumBase支持通过--browserBROWSER参数指定浏览器。我们可以通过继承和重写其内部方法来注入我们的undetected-chromedriver。我创建了一个名为uc_seleniumbase.py的文件作为我们自定义的启动入口# uc_seleniumbase.py import undetected_chromedriver as uc from seleniumbase import BaseCase from seleniumbase import Driver import warnings import logging # 可选抑制一些不必要的日志警告 logging.getLogger(‘uc’).setLevel(logging.WARNING) warnings.filterwarnings(“ignore”, categoryDeprecationWarning) class UCBaseCase(BaseCase): “”” 继承自SeleniumBase的BaseCase使用undetected-chromedriver替换默认Chrome驱动。 “”” def get_new_driver(self, *args, **kwargs): “”” 重写父类的get_new_driver方法。 当检测到需要启动Chrome时使用uc.Chrome()代替原生的webdriver.Chrome()。 “”” browser_name kwargs.get(“browser”, self.browser) # 只有当指定浏览器为chrome或默认是chrome时才启用uc if browser_name in [“chrome”, “google-chrome”]: # 获取父类准备的所有chrome选项 options kwargs.get(“options”, None) if not options: # 调用父类方法生成默认的ChromeOptions options super()._create_chrome_options(*args, **kwargs) # ********** 关键配置开始 ********** # 创建uc的Chrome选项并继承SeleniumBase的配置 uc_options uc.ChromeOptions() for arg in options.arguments: uc_options.add_argument(arg) for exp in options.experimental_options.get(‘prefs’, {}): uc_options.add_experimental_option(‘prefs’, options.experimental_options[‘prefs’]) # 额外的UC配置可选用于增强反检测 # 禁用“Chrome正受到自动测试软件控制”的提示栏uc默认可能已处理但显式声明更安全 uc_options.add_argument(‘–disable-blink-featuresAutomationControlled’) # 更彻底的指纹混淆谨慎使用可能影响浏览器稳定性 # uc_options.add_argument(‘–disable-featuresIsolateOrigins,site-per-process’) # 初始化undetected-chromedriver # version_main 可以指定主版本号例如 122。设为None则自动匹配。 driver uc.Chrome( optionsuc_options, headlesskwargs.get(“headless”, False), # 支持无头模式 version_mainNone, # 自动匹配或下载合适的驱动版本 suppress_welcomeTrue, # 抑制欢迎信息 # user_data_dir‘/path/to/your/profile’ # 可指定用户数据目录模拟真实用户会话 ) # 执行额外的JavaScript进一步隐藏自动化特征uc已做此为加固 driver.execute_script(“Object.defineProperty(navigator, ‘webdriver’, {get: () undefined})“) # ********** 关键配置结束 ********** return driver # 如果不是Chrome则回退到SeleniumBase的默认逻辑 return super().get_new_driver(*args, **kwargs) # 也可以创建一个便捷的Driver生成函数用于非TestCase场景 def get_uc_driver(headlessFalse, user_data_dirNone): “””快速获取一个反检测的Chrome驱动实例用于脚本或爬虫。””” options uc.ChromeOptions() options.add_argument(‘–disable-blink-featuresAutomationControlled’) if headless: options.add_argument(‘–headlessnew’) # 使用新的Headless模式 if user_data_dir: options.add_argument(f’–user-data-dir{user_data_dir}’) driver uc.Chrome(optionsoptions, version_mainNone, suppress_welcomeTrue) driver.execute_script(“Object.defineProperty(navigator, ‘webdriver’, {get: () undefined})“) return driver代码解析与注意事项继承与重写我们创建了UCBaseCase类继承自SeleniumBase的BaseCase。核心是重写get_new_driver方法这是SeleniumBase创建浏览器实例的入口。条件判断我们只对chrome浏览器进行替换对于firefox,edge等仍使用SeleniumBase的原生逻辑。配置继承我们必须将SeleniumBase生成的原始ChromeOptions中的所有参数和实验性配置原封不动地转移到uc.ChromeOptions()中。这确保了SeleniumBase的所有预设功能如代理设置、下载路径、扩展加载等不会丢失。uc.Chrome参数version_main: 设置为None让uc自动查找或下载匹配当前Chrome浏览器版本的驱动这是它的一大便利功能。headless: 支持无头模式。注意新的Chrome无头模式–headlessnew比旧版更难被检测。user_data_dir:这是一个重要技巧。指定一个用户数据目录可以让浏览器携带Cookie、本地存储、历史记录等使浏览器指纹更像一个长期使用的真实用户而非一个“纯净”的新会话。这在需要登录的测试中极其有用。JS加固虽然undetected-chromedriver已经处理了navigator.webdriver但我们再次通过execute_script进行覆盖是双保险。3.3 在测试用例中使用自定义启动器现在我们的测试用例不再继承自BaseCase而是继承自我们自定义的UCBaseCase。# test_example.py from uc_seleniumbase import UCBaseCase class EcommercePriceTest(UCBaseCase): # 注意这里继承的是UCBaseCase def test_price_monitoring(self): # 1. 打开目标电商网站 self.open(“https://www.example-store.com/product/12345“) # 2. 使用SeleniumBase强大的等待和断言 self.wait_for_element_visible(“.product-price”, timeout20) # 等待价格元素出现 # 3. 获取价格文本 price_text self.get_text(“.product-price”) # 4. 进行数据处理和断言 price float(price_text.replace(‘$’, ‘’).replace(‘,’, ‘’)) self.assert_less(price, 100.0, “产品价格应低于100美元”) # 5. 甚至可以截图SeleniumBase的截图自带高亮等效果 self.save_screenshot(“product_price.png”) def test_login_and_check_order(self): # 使用用户数据目录避免每次登录 # 注意需要在UCBaseCase的get_new_driver中启用user_data_dir配置或通过命令行传递 self.open(“https://www.example-store.com/my-account“) if not self.is_element_visible(“.welcome-msg”): # 如果未登录 self.type(“#username”, “my_test_useremail.com“) self.type(“#password”, “my_secure_password”) self.click(‘button[type“submit”]’) self.wait_for_element_present(“.welcome-msg”, timeout15) # 登录后检查订单... self.click_link(“My Orders”) # … 更多测试逻辑实操心得无缝切换除了继承的类名改变你的测试代码与编写标准SeleniumBase测试用例完全一样。所有self.方法如self.click,self.type,self.assert_*都可用。命令行兼容你依然可以使用SeleniumBase强大的命令行工具来运行测试例如python -m pytest test_example.py::EcommercePriceTest::test_price_monitoring -v --headless只要你的测试类继承自UCBaseCase它就会自动使用我们的反检测驱动。–headless参数也会通过kwargs传递给我们重写的方法。4. 高级反检测策略与参数调优仅仅替换驱动只是第一步。要应对更复杂的检测环境我们需要一套组合拳。4.1 浏览器指纹的深度伪装undetected-chromedriver做了大量工作但我们还可以通过CDP (Chrome DevTools Protocol)进行更细粒度的控制。SeleniumBase和uc都支持CDP。在你的UCBaseCase的get_new_driver方法中初始化driver后可以添加以下代码# … 在 driver uc.Chrome(…) 之后 … # 通过CDP执行脚本覆盖更多属性 driver.execute_cdp_cmd(‘Page.addScriptToEvaluateOnNewDocument’, { ‘source’: “”” Object.defineProperty(navigator, ‘plugins’, { get: () [1, 2, 3, 4, 5], // 模拟有多个插件 }); Object.defineProperty(navigator, ‘languages’, { get: () [‘zh-CN’, ‘zh’, ‘en-US’, ‘en’], }); Object.defineProperty(navigator, ‘hardwareConcurrency’, { get: () 8, // 模拟8核CPU }); // 覆盖屏幕分辨率需谨慎与实际窗口大小匹配 // Object.defineProperty(screen, ‘width’, {get: () 1920}); // Object.defineProperty(screen, ‘height’, {get: () 1080}); “”” }) # 设置User-Agent通常uc会随机化也可手动指定一个常见的 # options.add_argument(‘–user-agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 …’)4.2 模拟人类操作行为这是反检测的第二道防线。即使指纹伪装了机械式的操作也会暴露你。SeleniumBase内置了一些人性化操作比如self.click(selector)会先滚动到元素再点击。self.type(selector, text)是逐个字符输入模拟打字。我们可以进一步强化import random import time def human_like_click(self, selector): “””模拟人类点击先移动鼠标到元素附近短暂停顿再点击。””” element self.find_element(selector) # 使用ActionChains进行更精细的控制 actions self.actions # 先移动到元素上 actions.move_to_element(element).perform() # 随机等待一个短时间0.1-0.3秒 time.sleep(random.uniform(0.1, 0.3)) # 执行点击 element.click() def human_like_scroll(self, pixels_to_scrollNone): “””模拟人类滚动非匀速有停顿。””” if pixels_to_scroll is None: pixels_to_scroll random.randint(200, 800) # 使用JavaScript滚动可以加入缓动函数这里简化处理 scroll_script f”window.scrollBy({{top: {pixels_to_scroll}, behavior: ‘smooth’}});” self.driver.execute_script(scroll_script) # 滚动后随机等待 time.sleep(random.uniform(0.5, 2.0))在你的测试中可以混合使用标准的self.click和自定义的human_like_click关键操作如提交订单按钮使用后者。4.3 使用真实的浏览器配置文件这是提升隐蔽性的“大招”。在uc.Chrome初始化时指定user_data_dir参数指向一个你手动使用过的Chrome用户数据目录路径。操作步骤关闭所有Chrome窗口。找到你的Chrome用户数据目录Windows通常在C:\Users\用户名\AppData\Local\Google\Chrome\User Data。复制整个Default文件夹或Profile 1等到一个新的位置例如D:\selenium_profile。在这个新目录中用普通Chrome浏览器手动访问一次目标网站完成登录、接受Cookie等操作。在代码中指定这个目录driver uc.Chrome(optionsuc_options, user_data_dir‘D:\selenium_profile’)这样启动的浏览器就自带了你所有的历史记录、Cookie、缓存指纹的真实性极高。警告不要同时用普通Chrome和自动化脚本读写同一个用户数据目录会导致数据损坏。务必使用副本。4.4 代理与IP轮询对于大规模采集IP被封是另一个问题。虽然SeleniumBase支持通过–proxyADDRESS指定代理但在我们的集成方案中需要在uc_options里设置。proxy_server “http://your-proxy-ip:port“ # 或 socks5://… uc_options.add_argument(f’–proxy-server{proxy_server}’)对于需要轮换IP的场景你需要一个代理池并在每次创建新driver实例时随机选择一个代理。注意频繁更换IP本身也可能是一种异常行为。5. 实战构建一个完整的反检测测试套件让我们整合以上所有技术点为一个虚构的“全球芯片价格追踪平台”构建一个测试套件。这个平台反爬措施严格需要登录且对自动化访问敏感。项目结构chip_price_monitor/ ├── config.py # 配置文件代理、用户目录、URL等 ├── drivers/ # 空目录uc会自动管理驱动 ├── profiles/ # 存放浏览器用户数据目录副本 │ └── default_profile/ ├── pages/ # Page Object模型目录 │ ├── __init__.py │ ├── login_page.py │ └── search_page.py ├── utils/ │ ├── __init__.py │ └── behavior.py # 人类行为模拟函数 ├── uc_seleniumbase.py # 我们之前写的核心集成类 └── tests/ ├── __init__.py ├── conftest.py # Pytest配置可选 ├── test_login.py └── test_price_query.py核心测试用例示例 (test_price_query.py):import random import time from uc_seleniumbase import UCBaseCase from pages.login_page import LoginPage from pages.search_page import SearchPage from utils.behavior import human_like_scroll, random_delay import config class TestChipPrice(UCBaseCase): classmethod def setUpClass(cls): “””测试类级别的设置例如初始化全局配置。””” super().setUpClass() cls.base_url config.BASE_URL cls.profile_path config.USER_DATA_DIR # 从配置读取用户目录 def setUp(self): “””每个测试方法前的设置。””” super().setUp() # 如果配置了用户目录可以在这里通过覆盖driver初始化逻辑传入 # 更优雅的方式是修改UCBaseCase使其能读取外部配置 self.login_page LoginPage(self.driver) self.search_page SearchPage(self.driver) # 随机延迟启动避免定时任务特征 time.sleep(random.uniform(1, 5)) def test_query_advanced_chip_prices(self): “””测试高级芯片型号的价格查询流程。””” # 1. 打开登录页如果用户目录已登录可能直接跳转 self.open(f”{self.base_url}/login“) random_delay(2, 4) # 随机等待2-4秒 # 2. 检查是否已自动登录得益于user_data_dir if self.login_page.is_login_required(): self.login_page.login(config.TEST_USER, config.TEST_PASS) # 登录后等待更长时间模拟用户阅读页面 random_delay(5, 8) # 3. 导航到搜索页面 self.search_page.navigate_to() random_delay(3, 6) # 4. 执行搜索 - 使用人类行为增强版输入 chip_model “NVIDIA H100 80GB SXM5” for char in chip_model: self.search_page.enter_search_keyword(char) time.sleep(random.uniform(0.05, 0.15)) # 模拟逐个字符输入 random_delay(1, 2) # 输入完成后停顿 self.search_page.click_search_button(human_likeTrue) # 使用自定义的人类点击 # 5. 处理结果 - 模拟人类阅读和滚动 self.wait_for_element_present(self.search_page.RESULTS_CONTAINER, timeout30) human_like_scroll(self, pixels_to_scroll500) random_delay(2, 3) # 6. 提取并验证数据 prices self.search_page.get_all_prices_on_page() self.assertGreater(len(prices), 0, “应至少找到一个报价”) for price in prices: # 验证价格格式和合理性 self.assertIsInstance(price, (int, float)) self.assertGreater(price, 0) # 7. 可能翻页 if self.search_page.has_next_page(): # 翻页前再次随机滚动和等待 human_like_scroll(self) random_delay(4, 7) self.search_page.go_to_next_page() # … 继续下一页的测试 def tearDown(self): “””每个测试方法后的清理。””” # 不要立即关闭浏览器可以留一点时间或者进行一些清理操作 # 对于需要保持会话的测试甚至可以不关闭 if config.CLOSE_BROWSER_AFTER_TEST: super().tearDown()这个实战案例体现了结构化使用Page Object Model (POM) 提升代码可维护性。配置化将敏感信息和可变参数放在config.py中。行为模拟融入了随机延迟、人类化输入和滚动。利用用户状态通过user_data_dir保持登录态避免了每次测试都走登录流程更真实且高效。稳定性结合了SeleniumBase的智能等待和undetected-chromedriver的反检测。6. 常见问题排查与调试技巧即使方案完善在实际运行中仍会遇到各种问题。这里记录了我踩过的一些坑和解决方法。6.1 问题速查表问题现象可能原因排查步骤与解决方案启动时报uc相关错误如Cannot find Chrome binary1. Chrome未安装或路径不对。2. 系统存在多个Chrome版本冲突。1. 确认Chrome已安装且能从命令行启动。2. 指定Chrome路径uc.Chrome(browser_executable_path‘/path/to/chrome’)。3. 使用uc.Chrome(version_main具体版本)明确版本。仍然被网站检测到1. 反检测策略升级。2. 行为模式过于规律。3. IP被标记。1. 更新undetected-chromedriver到最新版pip install -U undetected-chromedriver。2. 加强行为模拟随机延迟、非匀速滚动。3. 启用user_data_dir使用真实配置文件。4. 尝试在uc_options中添加更多参数–disable-dev-shm-usage,–no-sandbox(仅限Linux/容器环境)–disable-gpu。5. 考虑使用更高版本的Chromeversion_main120。无头模式(Headless)下被检测概率增高旧版无头模式有显著特征。1. 使用Chrome 112版本并采用新的无头模式参数options.add_argument(‘–headlessnew’)。2. 如果可能尽量避免长时间使用无头模式可间歇性使用非无头模式。页面加载慢或元素找不到1. 网络或代理问题。2. 页面JS渲染慢。3. 反检测脚本执行影响了页面正常加载。1. 检查代理连通性。2. 增加SeleniumBase的等待超时时间self.wait_for_element_present(…, timeout60)。3. 使用更稳定的定位器避免依赖动态生成的ID或类名。4. 在uc.Chrome初始化后增加一个初始页面加载等待driver.implicitly_wait(10)。user_data_dir导致浏览器崩溃或无法启动1. 用户数据目录被占用或损坏。2. 权限问题。1.绝对确保没有其他Chrome进程在使用该目录。2. 始终使用原始用户目录的副本不要用原件。3. 检查目录读写权限。内存泄漏或浏览器进程未关闭测试结束后driver.quit()未被正确调用。1. 确保在tearDown或finally块中调用self.driver.quit()。2. 对于长时间运行的脚本定期重启浏览器实例例如每处理100个页面后。6.2 调试与验证技巧如何验证反检测是否生效本地测试页创建一个简单的HTML页面用于检测关键属性。!DOCTYPE html htmlbody p id‘webdriver’navigator.webdriver: span/span/p p id‘plugins’navigator.plugins.length: span/span/p p id‘languages’navigator.languages: span/span/p script document.getElementById(‘webdriver’).querySelector(‘span’).textContent navigator.webdriver; document.getElementById(‘plugins’).querySelector(‘span’).textContent navigator.plugins.length; document.getElementById(‘languages’).querySelector(‘span’).textContent JSON.stringify(navigator.languages); /script /body/html用你的脚本打开这个页面检查navigator.webdriver是否显示为undefined或false。使用在线检测服务访问一些公开的浏览器指纹检测网站例如amiunique.org,browserleaks.com观察结果。注意不要频繁测试以免你的IP被这些服务标记。目标网站试运行在非核心时间用你的脚本对目标网站进行低频率、短时间的试探性访问观察是否触发验证码或封禁。日志与监控启用SeleniumBase的详细日志pytest -v -s。在关键步骤前后添加self.save_screenshot(‘step1.png’)便于可视化排查问题。使用self.get_log(‘browser’)获取浏览器控制台日志可能包含网站检测脚本抛出的错误或警告信息。7. 方案总结与未来演进思考将SeleniumBase与undetected-chromedriver集成本质上是在测试框架的便利性和底层驱动的隐蔽性之间找到了一个完美的平衡点。你无需放弃SeleniumBase提供的任何高级特性就能获得强大的反检测能力。我个人在多个生产项目中应用此方案后最深的体会是稳定性得到了质的飞跃。之前需要不断处理验证码、频繁更换IP的爬虫和测试任务现在可以安静地长时间运行。维护成本从“救火”变成了“优化”。然而必须清醒认识到这是一场持续的攻防战。未来可能需要考虑的方向CDP的深度利用更广泛地使用Chrome DevTools Protocol来动态修改网络请求、拦截特定资源、模拟更复杂的设备信息和传感器数据。浏览器指纹库轮换维护一套不同的浏览器配置文件、User-Agent、屏幕分辨率等指纹信息在每次会话或定期轮换避免单一指纹长期使用被关联。与Playwright等新工具结合Playwright本身也在不断加强反检测能力。可以探索将uc的理念或部分补丁与Playwright结合或者直接评估Playwright的stealth模式是否满足需求。AI行为模拟引入更高级的模型来生成完全拟人的鼠标移动轨迹、滚动模式和点击间隔让自动化操作在行为分析层面也无懈可击。最后一个小技巧对于非常重要的长期任务可以考虑混合策略。例如70%的请求使用这套高度伪装的自动化方案30%的请求使用更轻量级但易被检测的方案如普通Selenium并让它们在逻辑上看起来像来自不同“用户”以分散风险和保护核心方案的有效性。
