标题:python 动态网页信息的爬取问题
只看楼主
zzn_kee
Rank: 1
等 级:新手上路
帖 子:1
专家分:0
注 册:2019-9-24
 问题点数:0 回复次数:2 
python 动态网页信息的爬取问题
学习的B站上关于动态网页爬取的内容,更换了需要提取的网址。显示的数据不对,不清楚是什么意思。与原教学内容不同的是,更改后的网址需要输入用户名密码。
import requests
import sqlite3
import json
from lxml import etree


def find():
    url = 'http://58.213.112.252:8115/yptrade/index.html'

    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}

    parmas = {
        '_search': 'false',
        'nd': '1569311443809',
        'rows': '10',
        'page': '1',
        'sord': 'asc',
    }
    response = requests.get(url, headers=header, params=parmas)
    result = response.text
    print(result)


find()

运行结果
C:\python3.6\python.exe C:/Users/Administrator/Desktop/python/猫眼爬虫/省平台.py
<script type='text/javascript'>top.location = 'http://58.213.112.252:8115/sso/login.html';</script>

Process finished with exit code 0
搜索更多相关主题的帖子: 信息 import python 网页 动态 
2019-09-24 16:19
wp231957
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
来 自:神界
等 级:版主
威 望:422
帖 子:13681
专家分:53296
注 册:2012-10-18
得分:0 
回复 楼主 zzn_kee
最好用selenium 来做

DO IT YOURSELF !
2019-09-25 09:13
phiplato
Rank: 2
等 级:新手上路
威 望:3
帖 子:22
专家分:7
注 册:2020-4-24
得分:0 
都有params了,为什么还是get不是post
2020-04-25 07:19



参与讨论请移步原网站贴子:https://bbs.bccn.net/thread-496989-1-1.html




关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.204888 second(s), 7 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved