标题:详解Python 3.1新变化之性能改善篇
只看楼主
好学
Rank: 16Rank: 16Rank: 16Rank: 16
等 级:版主
帖 子:622
专家分:318
注 册:2004-5-4
结帖率:50%
 问题点数:0 回复次数:1 
详解Python 3.1新变化之性能改善篇
  Python 3.0发布七个月之后,Python核心开发人员于2009年6月27日发布了新的Python 3.1版本。虽然此3.1版本只是对Python 3.0的一次小型升级,但是它不仅为开发者带来许多让人感兴趣的特性,同时在性能方面也有所改善。在上一篇中,我们为读者详细介绍了Python 3.1版本在标准程序库方面的变化,本文则要为读者介绍新版本在性能方面的改善。

  在Python 3.1的开发计划中,很大一部分都是关于性能的,那么这一版本发布后,都是哪些性能得到改善呢?下面我们将一一加以介绍。

  相关文章:详解Python 3.1的新变化之标准程序库篇
                      详解Python 3.1新变化之核心语言篇

  一、利用C语言实现了I/O库

  Python 3.0曾以使用Python实现了一个新的I/O库而引以为豪,但是其性能大家可想而知——和您估计的一样,非常的低。在Python 3.1中,人们利用C语言重新实现了此程序库,所以它的性能得到了极大的提升,大概快了2到20倍。为此,我们写了一段代码:向一个文件中写入5,000,000字节的内容,连续写入10次,然后计算其平均耗时。我们分别在Python 2.5、2.6、3.0和3.1下运行该代码,然后比较其结果。



Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.

  from __future__ import with_statement

  import sys

  import time

  if sys.version_info[0] == 3:

  exec("c = b'X'")

  else:

  c = 'X'

  def test_write_speed():

  start = time.time()

  with open('1.txt', 'wb') as f:

  for i in range(5000000):

  f.write(c)

  end = time.time() - start

  print (end)

  return end

  times = [test_write_speed() for i in range(10)]

  times.remove(max(times))

  times.remove(min(times))

  print('Average:', sum(times) / len(times))
  这里是上面代码在不同版本下的平均时间(这里以秒为单位):



Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.

  * Python 2.5 - 3.0146874487400055

  * Python 2.6 - 4.4676837027072906

  * Python 3.0 - 33.0755852461

  * Python 3.1 - 5.7733258903

  看到这样的结果,是不是既让人感兴趣又让人很困惑呀:对于这个向文件逐字节写入的基本I/O任务,不同Python版本之间的性能差别是不是很明显呢?Python 3.0的性能有了很大的下降,这是可以理解的,原因前面已经提过。不过,Python 2.6的性能比Python 2.5低了50%,而Python 3.1的性能有几乎是Python 2.5的两倍。

  对于同样的测试,如果文件作为文本文件打开(即把wb换成w),并且向文件写入字符串“1”而非写入字节,如下:



Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.

  ...

  with open('1.txt', 'w') as f:

  for i in range(5000000):

  f.write('X')

  ...
  则它们的平均时间为(以秒为单位):



Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.

  * Python 2.5 - 3.1337025165557861

  * Python 2.6 - 2.9250392615795135

  * Python 3.0 - 68.4243619442

  * Python 3.1 - 3.43869066238
  从中我们可以了解到些什么呢?首先,对于该任务Python 3.0的性能是惨不忍睹的,它写入字符的耗时是写入字节的两倍,并且几乎比Python 3.1的性能地了二十倍。 Python 2.5、2.6和3.1所用的时间大体相当。

内容导航
  二、字符解码

  从Python 2.x升级到Python 3.0的时候,Unicode的处理有了明显的改善。以下程序将对一个存放在缓冲区的1,000,000个希伯来语单词“shalom”在UTF-8和UTF-16之间来回进行编码和解码处理。此缓冲区总大小为五百万字节。



Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.

  from __future__ import with_statement

  import sys

  import time

  def test_encode_decode():

  shalom = ' \u05dd\u05d5\u05dc\u05e9'

  text = shalom * 1000000

  start = time.time()

  text_utf8 = text.encode('utf-8')

  text_utf16 = text.encode('utf-16')

  assert text_utf8.decode() == text

  assert text_utf16.decode('utf-16') == text

  end = time.time() - start

  print (shalom, end)

  return end

  test = test_encode_decode

  if __name__=='__main__':

  times = [test() for i in range(10)]

  times.remove(max(times))

  times.remove(min(times))

  print('Average:', sum(times) / len(times))
  当分别在Python 2.5、2.6、3.0和3.1下运行该程序的时候,得到的结果如下所示:



Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.

  * Python 2.5 - 1.6552573442459106

  * Python 2.6 - 1.6100345551967621

  * Python 3.0 - 0.280230671167

  * Python 3.1 - 0.205590486526
  在Python 2.5和2.6下运行此程序的时候,两种的速度大体相当;然而,Python 3.0却要快得多(大约快了5-6倍),而Python 3.1则要比Python 2.x快了近八倍,比Python 3.0快40%左右。

内容导航
  三、JSON方面的改进

  在Python 3.1中,json模块获得了一个C扩展,这使得它的性能有了显著的提高。以下程序将创建一个嵌套的数据结构,该数据结构由一个字典列表构成,而字典又包含其他存放基本值的字典的列表。此程序将整个列表串行化为一个JSON,然后又返回。下面给出了原始数据结构(重复了100次):



Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.

  'z': [{'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'}],

  'zzz': [{'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'}],

  'zz': [{'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'},

  {'a': 1, 'c': 4.5599999999999996, 'b': 'BBBB'}]}
  下面是处理清单 1 中的数据的程序:



Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.

  from __future__ import with_statement

  import sys

  import time

  import json

  def test_json():

  x = dict(a=1, b='BBBB', c=4.56)

  x6 = 6 * [x]

  y = dict(z=x6, zz=2 * x6, zzz=3 * x6)

  print (y)

  sys.exit()

  o = 100 *[y]

  start = time.time()

  j = json.dumps(o)

  assert json.loads(j) == o

  end = time.time() - start

  return end

  test = test_json

  if __name__=='__main__':

  times = [test() for i in range(10)]

  times.remove(max(times))

  times.remove(min(times))
  由于Python 2.5没有提供标准的json模块,所以下面是从Python 2.6、Python 3.0和Python 3.1中得到的结果:



Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.

  * Python 2.6: 0.58422702550888062

  * Python 3.0: 0.580562502146

  * Python 3.1: 0.0455559492111
  这些结果表明,Python 2.6和Python 3.0之间没有明显的差别。Python 3.1的速度则提高了一个数量级。这一点非常重要,因为JSON是Web 服务的通用语,如果您的web服务会接收或返回大量的JSON数据的话,编码/解码工作将会占据处理每个请求的很大一部分时间。

  还有另一个变化,就是json模块只能跟str(Python 3的Unicode字符串)一起使用,而不能跟字节一起使用。

内容导航
  四、封装属性的管束

  Pickle 模块现在会对封装对象的属性名称进行管制,这意味着如果您封装了许多同名对象,那么这些对象必须具有相同的属性名称。因此,您不必给每个对象多次存放相同的字符串(属性名称),只需保存一个包含所有属性名称的一个表,并保存每个属性的索引即可(或者,仅保存向每个对象的标准属性名称集合中增加或删除的放动态属性)。这样做能够做到尽量减小封装,所以能够更快的加载(或拆封)。

  下面的代码中的测试程序定义了一个类A,它有三个很长的属性名称;然后又创建了一个列表,其中含有100000个字典;而每个字典都有一个长的键,并且用对象作为其值。 最后,它将整个列表封装成一个文件,然后对其进行拆封。下面我们看看它所需的时间。



Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.

  * Python 2.6: 0.58422702550888062

  * Python 3.0: 0.580562502146

  * Python 3.1: 0.0455559492111
  对于Python 3.0和3.1来说,此封装的大小都是200359字节。用时如下所示:



Code highlighting produced by Actipro CodeHighlighter (freeware)
http://www.

  * Python 2.6: 0.58422702550888062

  * Python 3.0: 0.580562502146

  * Python 3.1: 0.0455559492111 内容导航
  五、其他变化

  下面是新版本中一些其他方面的性能改善:

  u 元组和字典仅仅存放垃圾收集器不再跟踪的不可跟踪对象

  u 一个新的配置选项--with-computed-gotos。这个选项能够使字节码估价循环使用一个新的调度机制,并能提速20%(并非所有编译器都可用)。

  u 在之前的版本中整数占据15位,现在可以在15位或者30位之间进行选择。30位整数在64 位系统上速度更快,但是在32位系统上的速度尚不清楚。 所以,在64 位系统上时默认为30位,在32位系统上默认为15位。对于UNIX操作系统,可以使用另一个新的配置选项即--enable-big-digits来覆盖这个默认设置。

  六、Python 3的程序库迁移

  您可能已经听说了,Python 3是一个颇具争议的版本,因为它缺乏对Python 2.x的向后兼容性。Python开发团队虽然在简化从Python 2.x到Python 3.x的迁移方面做了大量的工作,但是他们仍然没有将所有现有的第三方程序库全部迁移到Python 3版本。遗憾的是,对于许多项目来说,这仍然是一个主要问题。所以,这里还有一个先有鸡还是先有蛋的问题。程序库开发人员不会积极将其程序库移植到Python 3,除非他们的用户要求他们这样做。同时,用户也在等待所有依赖的程序库全部移到Python 3,这是它们才会将项目移植到Python 3。

  Python语言的程序包索引中包含了大约5000个通用的软件包,同时还有50个专门用于Python 3的软件包。 当然,这5000个软件包中可能含有一些已经无人维护的软件包。但是被大量项目所使用的一些“轴心”软件包却是要移植的关键软件包。人们通常认为,Python 3之所以没有引起太大的轰动,是因为许多“轴心”软件包,例如numpy、PIL和twisted还没有移植到Python 3的缘故。毫无疑问,重要的软件包通常更大,并也更复杂,所以移植起来也更加费时。

  七、小结

  就像您看到的那样,在Python 3.1中的关键功能、方便性和性能方面发生了许多改进。这个版本再次向世人证明,Python语言是多么的稳固,它的开发人员和社区又是多么的可信赖的。它是一个非常均衡的版本,无论是核心语言还是标准程序库,两个方面都照顾到了。用一句话概括:这是一个产品级的版本。

搜索更多相关主题的帖子: 改善 性能 详解 Python 
2009-11-09 05:09
elim
Rank: 1
等 级:新手上路
帖 子:1
专家分:0
注 册:2005-6-7
得分:0 
回复 楼主 好学
请问哪位在windows 下使用过 python3.1? 它在支持 utf-8 I/O 方面如何。
我在windows 下使用python2.7, 但
print(“你好”)
中的“你好”是utf-8编码时,从来就不能正常显示输出。
2010-08-30 23:19



参与讨论请移步原网站贴子:https://bbs.bccn.net/thread-291557-1-1.html




关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.418637 second(s), 7 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved