标题:网页信息抓太快导致封锁IP的情况,网络爬虫如何处理?
取消只看楼主
萌萌01
Rank: 1
等 级:新手上路
帖 子:5
专家分:7
注 册:2018-11-15
结帖率:0
已结贴  问题点数:20 回复次数:0 
网页信息抓太快导致封锁IP的情况,网络爬虫如何处理?
采集一个网站太频繁,能够采集的网页越来越少,甚至会被封杀IP,只有控制好采集速度和频率才能持续地获得数据,并且,要定期清理浏览器的cookies。
搜索更多相关主题的帖子: 网页 IP 网络 处理 采集 
2018-12-05 16:56



参与讨论请移步原网站贴子:https://bbs.bccn.net/thread-491843-1-1.html




关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.460832 second(s), 8 queries.
Copyright©2004-2025, BCCN.NET, All Rights Reserved