标题:关于python爬虫requests爬取json不能保存
只看楼主
a122311
Rank: 1
等 级:新手上路
帖 子:3
专家分:0
注 册:2022-3-19
 问题点数:0 回复次数:1 
关于python爬虫requests爬取json不能保存
我模仿别人写的对百度翻译的爬虫软件对里面的json部分进去爬取,数据爬取成功了,但是在对数据进行写入的时候却不能保存在本地,而且我用的pycharm在进行数据爬取时不知道为什么比别人要慢很多,要一分钟才能出数据保存文件,以下是我的代码。
import requests
import json
#进行ua伪装
headers= {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}
#抓取url
url='https://fanyi.baidu.com/sug'
query=input('in a word')
kw={
    'kw':query
}
#模拟请求
reponse=requests.post(url=url,data=kw,headers=headers)
#获取数据
dic_obj = reponse.json()
#长久化存储
cun=query+'.json'
fp=open(cun, 'w', encoding='utf-8')
json.dump(dic_obj,fp=fp,ensure_ascii=False)
print(dic_obj,'抓取成功')
搜索更多相关主题的帖子: query 数据 爬虫 保存 url 
2022-03-19 14:46
a122311
Rank: 1
等 级:新手上路
帖 子:3
专家分:0
注 册:2022-3-19
得分:0 
问题就在进行长久化存储时,保存在电脑里的json数据为空
2022-03-19 14:47



参与讨论请移步原网站贴子:https://bbs.bccn.net/thread-508592-1-1.html




关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.282274 second(s), 7 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved