标题:关于爬虫的问题,10线程还是慢。附代码
取消只看楼主
pypro
Rank: 1
等 级:新手上路
帖 子:18
专家分:0
注 册:2010-4-10
结帖率:80%
已结贴  问题点数:0 回复次数:1 
关于爬虫的问题,10线程还是慢。附代码
程序代码:
class S(SGMLParser):
    '''取链接的'''
  
def pachong(url):
    a=urllib2.urlopen(url)
    parser=S()
    parser.feed(a.read())
    b=parser.urls  #HTML里取得的链接列表
    if b:return b
def main():
    while True:
        url=q.get()
        c=pachong(url)
        if c:
            for url in c:
                print url
                q.put(url)
q=Queue()
q.put('http://www.')
for i in range(10):
    t=threading.Thread(target=main)
    t.start()

其中会带有处理链接的代码,但是这些应该不怎么影响爬虫的。。 感觉爬的就慢。。。




[ 本帖最后由 pypro 于 2010-4-11 13:34 编辑 ]
搜索更多相关主题的帖子: 爬虫 线程 代码 
2010-04-11 13:32
pypro
Rank: 1
等 级:新手上路
帖 子:18
专家分:0
注 册:2010-4-10
得分:0 
回复 2楼 外部三电铃
拿百度测试的。
我2M宽带,应该不是那么慢的
2010-04-11 14:41



参与讨论请移步原网站贴子:https://bbs.bccn.net/thread-302524-1-1.html




关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.024206 second(s), 8 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved