搜索
编程论坛
→
开发语言
→
『 Python论坛 』
→ 通过dbfread获取的接近2g的数据如何读入pandas
标题:
通过dbfread获取的接近2g的数据如何读入pandas
取消只看楼主
phiplato
等 级:
新手上路
威 望:
3
帖 子:22
专家分:7
注 册:2020-4-24
结帖率:
50%
楼主
已结贴
√
问题点数:20 回复次数:3
通过dbfread获取的接近2g的数据如何读入pandas
公司以前都是用vfp倒数据的,好多表格数据都是上g的bin文件,用python解析这些源数据一则容易出错,主要是以前编码格式混乱,二则效率慢,所以还是用vfp导入bin文件,生成dbf表格,然后再用python读dbf表,想用pandas处理读到的数据,一直显示MemoryError内存溢出,有什么办法可以快速导入pandas
搜索更多相关主题的帖子:
获取
数据
dbf
python
读入
2020-04-27 18:54
phiplato
等 级:
新手上路
威 望:
3
帖 子:22
专家分:7
注 册:2020-4-24
第
2
楼
得分:0
回复 2楼 wp231957
我首先获取dbf表中数据
table=DBF("XXXXXX",encoding="gbk",char_decode_errors="ignore")
然后用pandas创建dataframe导入table
df=pd. DataFrame(data=table)
运行后一直显示memory error
大神有什么好的办法,能快速导入pandas
2020-04-28 10:20
phiplato
等 级:
新手上路
威 望:
3
帖 子:22
专家分:7
注 册:2020-4-24
第
3
楼
得分:0
回复 2楼 wp231957
最原始的文件都是. bin的二进制大文件,2个G左右,我用vfp读取的,能不能直接用python解析,编码混乱只能用二进制先读后写入txt文件,耗时多,而且还要再次用pandas解析txt,又要耗时很长时间,有没有快速有效的方案,求大神指教。
2020-04-28 10:28
phiplato
等 级:
新手上路
威 望:
3
帖 子:22
专家分:7
注 册:2020-4-24
第
4
楼
得分:0
后来想到办法了,用vfp导入成自由表,再用pyodbc对自由表crud操作,效率也就上去了,当然也可以用vfp直接进行crud,再用pandas清洗数据。
2020-06-03 21:12
4
1/1页
1
参与讨论请移步原网站贴子:
https://bbs.bccn.net/thread-501294-1-1.html
关于我们
|
广告合作
|
编程中国
|
清除Cookies
|
TOP
|
手机版
编程中国
版权所有,并保留所有权利。
Powered by
Discuz
, Processed in 0.350326 second(s), 8 queries.
Copyright©2004-2025, BCCN.NET, All Rights Reserved