搜索
编程论坛
→
数据库技术
→
『 VFP论坛 』
→ 求教数值计算的精确度问题
标题:
求教数值计算的精确度问题
只看楼主
fdxxhjc
等 级:
新手上路
帖 子:305
专家分:0
注 册:2014-4-10
结帖率:
73.44%
楼主
已结贴
√
问题点数:20 回复次数:4
求教数值计算的精确度问题
我有一个原表.dbf,内有一个字段(变量),这个字段下有512条记录,分别计算这512条记录的一次的和,二次和以及三次的和,这三个和求下来一次、二次的值与软件maple计算的结果一致,但三次和的值两者不一样,并用其他软件验证后是maple软件计算的结果是正确的,而VFP的结果是个近似值,请教这样不是vfp的计算结果最近会有误差了吗
VFP单独验证包.zip
(147.33 KB)
搜索更多相关主题的帖子:
记录
软件
2015-03-18 16:12
吹水佬
等 级:
版主
威 望:
432
帖 子:10064
专家分:41463
注 册:2014-5-20
第
2
楼
得分:10
整数的最小值 -2,147,483,647
整数的最大值 2,147,483,647
在数字计算中精确的位数 16
?INT(10^13+1)
?TRANSFORM(INT(10^13+1))
?INT(10^14+1)
?TRANSFORM(INT(10^14+1))
2015-03-18 16:53
sdta
来 自:江苏省连云港市
等 级:
版主
威 望:
323
帖 子:9621
专家分:26174
注 册:2012-2-5
第
3
楼
得分:10
可用字符处理的方法解决问题,下面的这个帖子对你可能有所帮助
https://bbs.bccn.net/viewthread.php?tid=441567&highlight=%CF%D4%CA%
坚守VFP最后的阵地
2015-03-18 18:29
hu9jj
来 自:红土地
等 级:
贵宾
威 望:
396
帖 子:11713
专家分:43267
注 册:2006-5-13
第
4
楼
得分:0
不光是VFP会有计算误差,EXCEL也会有计算误差。严格地说,由于记录数值的字节数限制,任何语言都有可能出现计算误差,都会受到精确度影响。
活到老,学到老! http://www. E-mail:hu-jj@
2015-03-18 20:20
fdxxhjc
等 级:
新手上路
帖 子:305
专家分:0
注 册:2014-4-10
第
5
楼
得分:0
回复 4楼 hu9jj
是的,excel的误差还来得更早些
2015-03-18 22:32
5
1/1页
1
参与讨论请移步原网站贴子:
https://bbs.bccn.net/thread-442791-1-1.html
关于我们
|
广告合作
|
编程中国
|
清除Cookies
|
TOP
|
手机版
编程中国
版权所有,并保留所有权利。
Powered by
Discuz
, Processed in 0.021340 second(s), 8 queries.
Copyright©2004-2025, BCCN.NET, All Rights Reserved