标题:数据精度的问题
取消只看楼主
wangfuli
Rank: 4
等 级:贵宾
威 望:12
帖 子:206
专家分:10
注 册:2005-11-11
 问题点数:0 回复次数:2 
数据精度的问题

我在做数学计算时公式是这样的csng(textbox1.text)-csng(textbox2.text),我输入12.33和12,为什么得出的结果却是0.32999999,却不是0.33,为什么用csng(textbox1.text-textbox2.text)得出的结果就是0.33了,为什么了;同样这两个式子用double类型:cdbl(textbox1.text)-cdbl(textbox2.text)和cdbl(textbox1.text-textbox2.text)算出的结果却是一样的,都是0.33,这又为什么了?
还有single在保持小数点后3位,最大可以多大,double在保持小数点后6位最大是多少

[此贴子已经被作者于2006-11-13 20:17:44编辑过]

搜索更多相关主题的帖子: 精度 数据 
2006-11-11 23:55
wangfuli
Rank: 4
等 级:贵宾
威 望:12
帖 子:206
专家分:10
注 册:2005-11-11
得分:0 

不应该出现益处的情况了,12和12.33那么小,怎么会出现益处了,


2006-11-14 07:21
wangfuli
Rank: 4
等 级:贵宾
威 望:12
帖 子:206
专家分:10
注 册:2005-11-11
得分:0 

有人知道这个问题吗,不要吝啬与知识了,共享一下了
小弟先谢了


2006-11-14 19:52



参与讨论请移步原网站贴子:https://bbs.bccn.net/thread-102346-1-1.html




关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.051488 second(s), 8 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved