标题:爬虫被屏蔽,如何添加一个请求头部,模拟浏览器登录
取消只看楼主
廉价的咖啡
Rank: 2
来 自:湖北 荆门
等 级:论坛游民
威 望:2
帖 子:53
专家分:17
注 册:2014-10-9
结帖率:72.73%
已结贴  问题点数:20 回复次数:0 
爬虫被屏蔽,如何添加一个请求头部,模拟浏览器登录
各位朋友你们好!    嘻嘻,我是一名自学python的小白,如觉得问题对于您来说简单,还请您谅解小白
我在联练习scrapy安装与真的快速上手——爬取豆瓣9分榜单,在这里在settings.py文件夹下添加了USER_AGENT = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0'
这样一句代码,我就是不明白了,这个是怎么来的,我在网站界面 “查看页面源代码”中并没有法相与此相同的代码,想问这个是怎么来的,并且要是在http://book.网址中如何编写这样的代码?

还请各位朋友,帮帮我的忙!
搜索更多相关主题的帖子: Windows 浏览器 Firefox 源代码 python 
2016-10-12 21:48



参与讨论请移步原网站贴子:https://bbs.bccn.net/thread-469697-1-1.html




关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 1.577985 second(s), 8 queries.
Copyright©2004-2025, BCCN.NET, All Rights Reserved