标题:数据精度的问题
只看楼主
wangfuli
Rank: 4
等 级:贵宾
威 望:12
帖 子:206
专家分:10
注 册:2005-11-11
 问题点数:0 回复次数:5 
数据精度的问题

我在做数学计算时公式是这样的csng(textbox1.text)-csng(textbox2.text),我输入12.33和12,为什么得出的结果却是0.32999999,却不是0.33,为什么用csng(textbox1.text-textbox2.text)得出的结果就是0.33了,为什么了;同样这两个式子用double类型:cdbl(textbox1.text)-cdbl(textbox2.text)和cdbl(textbox1.text-textbox2.text)算出的结果却是一样的,都是0.33,这又为什么了?
还有single在保持小数点后3位,最大可以多大,double在保持小数点后6位最大是多少

[此贴子已经被作者于2006-11-13 20:17:44编辑过]

搜索更多相关主题的帖子: 精度 数据 
2006-11-11 23:55
xinsheng
Rank: 2
等 级:论坛游民
帖 子:43
专家分:15
注 册:2006-6-28
得分:0 

看不懂.
你应该把"这是为什么"改一下.否则一般的人都不会来的


2006-11-13 17:56
bygg
Rank: 16Rank: 16Rank: 16Rank: 16
来 自:乖乖的心中
等 级:版主
威 望:241
帖 子:13555
专家分:3076
注 册:2006-10-23
得分:0 
因为系统会取和你这个数值最接近的的个大约数。
如果你的数值越大,效果就会越明显。

飘过~~
2006-11-13 19:53
wangfuli
Rank: 4
等 级:贵宾
威 望:12
帖 子:206
专家分:10
注 册:2005-11-11
得分:0 

不应该出现益处的情况了,12和12.33那么小,怎么会出现益处了,


2006-11-14 07:21
wangfuli
Rank: 4
等 级:贵宾
威 望:12
帖 子:206
专家分:10
注 册:2005-11-11
得分:0 

有人知道这个问题吗,不要吝啬与知识了,共享一下了
小弟先谢了


2006-11-14 19:52
bygg
Rank: 16Rank: 16Rank: 16Rank: 16
来 自:乖乖的心中
等 级:版主
威 望:241
帖 子:13555
专家分:3076
注 册:2006-10-23
得分:0 

首先说这不是数据溢出的问题。


飘过~~
2006-11-14 21:49



参与讨论请移步原网站贴子:https://bbs.bccn.net/thread-102346-1-1.html




关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.062657 second(s), 7 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved