标题:python爬虫数据空白,大神帮看下
只看楼主
故千岁
Rank: 1
等 级:新手上路
帖 子:1
专家分:0
注 册:2023-2-1
结帖率:0
已结贴  问题点数:20 回复次数:3 
python爬虫数据空白,大神帮看下
程序代码:

import requests

from bs4 import BeautifulSoup

import matplotlib.pyplot as plt
import numpy as np
import sqlite3
import matplotlib
matplotlib.rc("font", family='Microsoft YaHei')
# 发送请求,获取响应
response = requests.get('https://www.')
# 从响应中获取数据
home_page = response.content.decode(encoding='utf-8')
# 创建BeautifulSoup对象
soup = BeautifulSoup(home_page, 'lxml')
# 查找网页中的学校名称和成绩数据
school_name = soup.find_all(attrs={'class': 'name-cn'})
score = soup.find_all(attrs={'class': 'score'})
# 创建两个新的列表以便后续使用
school_name_Result = []
score_Result = []
# 遍历将爬取出来的网页数据写入一个新的列表
for i in range(len(school_name_Result)):
    school_name_Result.append(school_name[i].text)
    score_Result.append(score[i].text)
# 逆序列表
school_name_Result.reverse()
score_Result.reverse()

# 设置图形化界面的整体长宽大小
plt.figure(figsize=(15,10))
plt.xticks(rotation=45)  # 设置x轴显示方法
# 设置y轴最大最小值
plt.ylim(0,100)
# 传递可用参数生成可视化图形
plt.bar(school_name_Result, score_Result)

# 设置标题
plt.title("2021中国大学专业排名————计算机科学与技术")

 
for i in range(len(school_name_Result)):
    plt.text(school_name_Result[i], score_Result[i], score_Result[i], ha="center")
plt.show()  # 显示创建的绘图对象
# 解决Matplotlib中文乱码问题
# mpl.rcParams['font.sans-serif'] = ['SimHei']
# 连接数据库,如没有则新建该数据库
con = sqlite3.connect('csData.db')
print("Open database successfully")

 
# 在数据库对象中创建一个列表包含主键和两个属性列
stmt="CREATE TABLE if not exists SNAME(ID INT PRIMARY KEY   NOT NULL,schoolName CHAR   NOT NULL,score FLOAT   NOT NULL)"
con.execute(stmt)
print("Table created successfully")
# 创建数据库游标
cur=con.cursor()

 
# 创建两个列表用于后续保存数据
sqlString=[]
sqlString_Result=[]

 
# 遍历排名列表并暂时保存于新建的变量中用于传递参数
for i in range:
    sc=school_name_Result[i];
    sr=score_Result[i]
    sqlString.append(i+1)
    sqlString.append(sc)
    sqlString.append(sr)

 
# 将列表强制转换成元组
    changeTuple=tuple(sqlString)
    sqlString_Result.append(changeTuple)
# 清空字典
    # sqlString.clear()
# 批量执行多条数据库语句
cur.executemany("insert into SNAME values(?,?,?)",sqlString_Result)
# 选中数据库SNAME中的所有数据
cur.execute("select * from SNAME")
# 遍历返回多个元组
for item in cur.fetchall():
    print(item)
print("Check database successfully")
print(school_name_Result)
print(score_Result )
搜索更多相关主题的帖子: 列表 print append 创建 数据 
2023-02-01 11:22
东海ECS
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
来 自:Python
等 级:版主
威 望:19
帖 子:376
专家分:1454
注 册:2023-1-24
得分:20 
[原内容已被撤销]

[此贴子已经被作者于2023-2-1 12:20编辑过]


会当凌绝顶,一览众山小.
2023-02-01 11:42
东海ECS
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
来 自:Python
等 级:版主
威 望:19
帖 子:376
专家分:1454
注 册:2023-1-24
得分:0 

for i in range():
这里的对象缺少括号与形参

[此贴子已经被作者于2023-2-1 22:45编辑过]


会当凌绝顶,一览众山小.
2023-02-01 15:00
东海ECS
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
来 自:Python
等 级:版主
威 望:19
帖 子:376
专家分:1454
注 册:2023-1-24
得分:0 
导入了numpy模块,但没有使用过

会当凌绝顶,一览众山小.
2023-02-01 15:08



参与讨论请移步原网站贴子:https://bbs.bccn.net/thread-511202-1-1.html




关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.639415 second(s), 9 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved