这几天用selenium操作chrome浏览器尝试采集一些电商数据,但被网站检测出来,后面就没法访问了,我怀疑是ip被封了。
搜索找了很多解决方案,都不太行,有个stackoverflow的博主建议用亮数据的远程浏览器,和操作普通浏览器一样,但能绕过反爬机制,试了下确实可以。
Scraping Browser是有图形界面的有头浏览器,托管在亮数据平台上,如下:
http://t.cn/A6Bt6ZZI
它的工作原理和普通自动化浏览器一样,但它封装了代理和网站解锁能力,能进行各种高级爬虫操作,比如:CAPTCHA 识别、浏览器指纹、自动重试、请求头选择、处理 cookies、JavaScript 渲染等,对于反爬机制复杂的网站都比较适用。
#爬虫#
发布于 江苏
