标题:通过asp如何获取其它网页的源代码
只看楼主
虔虞
Rank: 1
等 级:新手上路
帖 子:4
专家分:5
注 册:2010-11-10
结帖率:0
已结贴  问题点数:20 回复次数:4 
通过asp如何获取其它网页的源代码
搜索了网络上很多的代码,能够实现大部分网页源码的获取,但有些网站却获取不到,例如我需要获取(http://video.)这个页面的时时彩开奖数据,则就获取不到,有高手知道站长之家那样的,什么网页都能获取的代码吗?
搜索更多相关主题的帖子: 源代码 网页 asp 获取 
2010-11-10 09:30
aspic
Rank: 17Rank: 17Rank: 17Rank: 17Rank: 17
等 级:贵宾
威 望:51
帖 子:2258
专家分:8050
注 册:2008-2-18
得分:20 
有些需要设置一些参数 假装是浏览器才行。。。不然人家页面里面做了判断就获取不到了
2010-11-10 09:45
虔虞
Rank: 1
等 级:新手上路
帖 子:4
专家分:5
注 册:2010-11-10
得分:0 
这段代码可以获取一般网页的源码,但有些不行,请高手帮助改进:
<%

url="http://www.baidu.com"  '//定义要获取源代码的网址,一般是通过变量传递过来
HTMLCODE=getHTTPPage(url) '//获取源代码的函数

response.Write HTMLCODE '//输出HTML格式的网页内容

Function getHTTPPage(url)
    dim objXML
    set objXML=createobject("MSXML2.SERVERXMLHTTP.3.0")  '调用XMLHTTP组件,测试空间是否支持XMLHTTP
    objXML.open "GET",url,false 'false表示以同步的方式获取网页代码,了解什么是同步?什么是异步?
    objXML.send() '发送
    getHTTPPage=bBytesToBstr(objXML.responseBody)'返回信息,同时用函数定义编码
    set objXML=nothing'关闭
End Function


Function bBytesToBstr(body)
    dim objstream
    set objstream = CreateObject("adodb.stream") '//调用adodb.stream组件
    objstream.Type = 1
    objstream.Mode =3
    objstream.Open
    objstream.Write body
    objstream.Position = 0
    objstream.Type = 2
    objstream.Charset = "GB2312" '转换原来默认的UTF-8编码转换成GB2312编码,否则直接用XMLHTTP调用有中文字符的网页得到的将是乱码
    bBytesToBstr = objstream.ReadText
    objstream.Close
    set objstream = nothing
end Function
%>

2010-11-10 09:45
虔虞
Rank: 1
等 级:新手上路
帖 子:4
专家分:5
注 册:2010-11-10
得分:0 
以下是引用aspic在2010-11-10 09:45:57的发言:

有些需要设置一些参数 假装是浏览器才行。。。不然人家页面里面做了判断就获取不到了
请指点,怎么样才能模拟浏览器效果?
2010-11-10 09:47
aspic
Rank: 17Rank: 17Rank: 17Rank: 17Rank: 17
等 级:贵宾
威 望:51
帖 子:2258
专家分:8050
注 册:2008-2-18
得分:0 
objXML.setRequestHeader("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 6.0; zh-CN; rv:1.9.0.3) Gecko/2008092417 Firefox/3.0.3 (.NET CLR 3.5.30729)");
类似这样的
2010-11-10 11:08



参与讨论请移步原网站贴子:https://bbs.bccn.net/thread-325435-1-1.html




关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.096992 second(s), 7 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved