标题:求教数值计算的精确度问题
只看楼主
fdxxhjc
Rank: 1
等 级:新手上路
帖 子:305
专家分:0
注 册:2014-4-10
结帖率:73.44%
已结贴  问题点数:20 回复次数:4 
求教数值计算的精确度问题
我有一个原表.dbf,内有一个字段(变量),这个字段下有512条记录,分别计算这512条记录的一次的和,二次和以及三次的和,这三个和求下来一次、二次的值与软件maple计算的结果一致,但三次和的值两者不一样,并用其他软件验证后是maple软件计算的结果是正确的,而VFP的结果是个近似值,请教这样不是vfp的计算结果最近会有误差了吗
VFP单独验证包.zip (147.33 KB)
搜索更多相关主题的帖子: 记录 软件 
2015-03-18 16:12
吹水佬
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
等 级:版主
威 望:432
帖 子:10064
专家分:41463
注 册:2014-5-20
得分:10 
整数的最小值                                -2,147,483,647
整数的最大值                                2,147,483,647
在数字计算中精确的位数                      16

?INT(10^13+1)
?TRANSFORM(INT(10^13+1))

?INT(10^14+1)
?TRANSFORM(INT(10^14+1))
2015-03-18 16:53
sdta
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
来 自:江苏省连云港市
等 级:版主
威 望:323
帖 子:9621
专家分:26174
注 册:2012-2-5
得分:10 
可用字符处理的方法解决问题,下面的这个帖子对你可能有所帮助
https://bbs.bccn.net/viewthread.php?tid=441567&highlight=%CF%D4%CA%

坚守VFP最后的阵地
2015-03-18 18:29
hu9jj
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
来 自:红土地
等 级:贵宾
威 望:396
帖 子:11713
专家分:43267
注 册:2006-5-13
得分:0 
不光是VFP会有计算误差,EXCEL也会有计算误差。严格地说,由于记录数值的字节数限制,任何语言都有可能出现计算误差,都会受到精确度影响。

活到老,学到老! http://www. E-mail:hu-jj@
2015-03-18 20:20
fdxxhjc
Rank: 1
等 级:新手上路
帖 子:305
专家分:0
注 册:2014-4-10
得分:0 
回复 4楼 hu9jj
是的,excel的误差还来得更早些
2015-03-18 22:32



参与讨论请移步原网站贴子:https://bbs.bccn.net/thread-442791-1-1.html




关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.021340 second(s), 8 queries.
Copyright©2004-2025, BCCN.NET, All Rights Reserved